- 日本語が含まれているかどうか判定すれば良い?
- この時、「文字化け」している文字が混ざっているかどうか判定する方法はあるでしょうか?
結論から言うと、アルゴリズミックに確実に判定するのは不可能でしょう。一番大きな理由としては、下記の推測の過程に挙げましたが「一部の情報が欠落しているから」です。
文字化け例
経験と勘で推測する(guess)のであれば、
・元文字列は「・クレジットカード」
・エンコーディングはUTF-8
・文字化けの原因は、UTF-8のバイト列をISO-8859-1として解釈し、さらに一部の制御コードが欠落した
と言うことになります。
ざっくりと、推測の過程を示しておきます。
- 「文字化け」の文字列をISO-8859-1(Latin1)エンコーディングでバイト列に変換してみる
日本語の情報が文字化けするときの典型例であるのと、その際によく現れる文字が含まれているためです。
⇒E3 BB E3 AF E3 AC E3 B8 E3 E3 E3 AB E3 BC E3
文字コード表ISO-8859-1
- E3が大量に現れることからUTF-8、おそらく日本語であると推定される
UTF-8で日本語文字を表現した場合、日本語でよく使う漢字やひらがなカタカナなどはみな、E3 xx xxで表されるコード領域にあります。(xxは80...BF)
UTF-8コード表(1)
- E3 xx xxの形式になっていない部分はISO-8859-1で未定義の制御コード領域となっている80...9Fの部分がコピペ編集等の過程で欠落したものと考える
制御コードを含む文字列をブラウザやターミナルに表示させた後、コピペしてエディターやWebの入力フォームに貼り付けると、制御コードの部分が失われます。
xxの部分は上記の通り80...9Fと仮定し、欠落した部分を推定する
E3 BB ⇒ E3 xx BB 〻ほセ・ㄻㅻㆻㇻ㈻㉻㊻㋻㌻㍻㎻㏻㐻㑻㒻㓻㔻㕻㖻㗻㘻㙻㚻㛻㜻㝻㞻㟻
E3 AF ⇒ E3 xx AF 〯はクワㄯㅯㆯ㈯㉯㊯㋯㌯㍯㎯㏯㐯㑯㒯㓯㔯㕯㖯㗯㘯㙯㚯㛯㜯㝯㞯㟯
E3 AC ⇒ E3 xx AC 〬ぬガレㄬㅬㆬ㈬㉬㊬㋬㌬㍬㎬㏬㐬㑬㒬㓬㔬㕬㖬㗬㘬㙬㚬㛬㜬㝬㞬㟬
E3 B8 ⇒ E3 xx B8 〸へジヸㄸㅸㆸㇸ㈸㉸㊸㋸㌸㍸㎸㏸㐸㑸㒸㓸㔸㕸㖸㗸㘸㙸㚸㛸㜸㝸㞸㟸
E3 ⇒ E3 xx xx (候補が多すぎるので後回し)
E3 ⇒ E3 xx xx (候補が多すぎるので後回し)
E3 AB ⇒ E3 xx AB 〫にカルㄫㅫㆫ㈫㉫㊫㋫㌫㍫㎫㏫㐫㑫㒫㓫㔫㕫㖫㗫㘫㙫㚫㛫㜫㝫㞫㟫
E3 BC ⇒ E3 xx BC 〼ぼゼーㄼㅼㆼㇼ㈼㉼㊼㋼㌼㍼㎼㏼㐼㑼㒼㓼㔼㕼㖼㗼㘼㙼㚼㛼㜼㝼㞼㟼
E3 ⇒ E3 xx xx (候補が多すぎるので後回し)
(合成用文字等が含まれるので、一部のブラウザでは正しく表示できないかもしれません。悪しからず。)
上記の候補から日本語では滅多に使わない文字や記号を省いて、意味の通りそうな組み合わせを考える
・クレジ□□カー□
当然内容は「・クレジットカード」だと推定されるので、「ッ」「ト」「ド」の文字コードが上記のE3 xx xx (xxは80...9F)にマッチすることを調べます。
ッ: E3 83 83
ト: E3 83 88
ド: E3 83 89
どの文字も80...9Fのバイトが欠落すればE3だけになってしまう、と言う条件を満たしますので、上記の推定が補強されたと言うことになります。
せめて情報が欠落してしまう前のバイト列を取得できれば、比較的簡単な方法(mb_系の関数)でエンコーディングを推定することもできたでしょうが、ご質問文のようにWebフォームに貼り付けられて元情報の一部が完全に欠落してしまうと、もう機械的な推定はほぼ不可能だと思います。(上記の推測にしても、もしかしたら別に日本語あるいは他の言語として自然な文字列があるかもしれません。)
私的にはどういう状況でどんな方法でそのデータを取得したのかがわからなければ、もう経験と勘に頼る(それも確実ではない)しかないのではないか、と言うのが結論です。