0

文字化けしている文字列かどうか条件分岐する方法はありますか?
・本来であれば文字エンコーディングを調整すべきだと思うのですが、調整できないという前提で…
・日本語が含まれているかどうか判定すれば良い?
・どうやって???

文字化け例
・ã»ã¯ã¬ã¸ããã«ã¼ã


・ちなみに、この文字化けはどういう原因かこれだけから推測可能ですか?


2017/5/9追記

・別の所で取得したデータが一箇所に集められていて、どういう状況で取得したか分からない
・その中で一部の文字だけが「文字化け」しているかもしれない
・この時、「文字化け」している文字が混ざっているかどうか判定する方法はあるでしょうか?

$str = 'ã»ã¯ã¬ã¸ããã«ã¼ã';

$encAry = [
  'UTF-8',
  'UTF-7',
  'ASCII',
  'EUC-JP',
  'eucJP-win',
  'SJIS',
  'SJIS-win',
  'JIS',
  'ISO-2022-JP',
  'Unicode',
];

foreach ($encAry as $val) {
  var_dump(mb_check_encoding($str, $val));
}

// bool(true)
// bool(false)
// bool(false)
// bool(true)
// bool(true)
// bool(true)
// bool(true)
// bool(false)
// bool(false)
// bool(true)

2 件の回答 2

6
  • 日本語が含まれているかどうか判定すれば良い?
  • この時、「文字化け」している文字が混ざっているかどうか判定する方法はあるでしょうか?

結論から言うと、アルゴリズミックに確実に判定するのは不可能でしょう。一番大きな理由としては、下記の推測の過程に挙げましたが「一部の情報が欠落しているから」です。


文字化け例

  • ã»ã¯ã¬ã¸ããã«ã¼ã

  • ちなみに、この文字化けはどういう原因かこれだけから推測可能ですか?

経験と勘で推測する(guess)のであれば、
・元文字列は「・クレジットカード」
・エンコーディングはUTF-8
・文字化けの原因は、UTF-8のバイト列をISO-8859-1として解釈し、さらに一部の制御コードが欠落した
と言うことになります。

ざっくりと、推測の過程を示しておきます。

  1. 「文字化け」の文字列をISO-8859-1(Latin1)エンコーディングでバイト列に変換してみる

日本語の情報が文字化けするときの典型例であるのと、その際によく現れる文字が含まれているためです。

⇒E3 BB E3 AF E3 AC E3 B8 E3 E3 E3 AB E3 BC E3

文字コード表ISO-8859-1

  1. E3が大量に現れることからUTF-8、おそらく日本語であると推定される

UTF-8で日本語文字を表現した場合、日本語でよく使う漢字やひらがなカタカナなどはみな、E3 xx xxで表されるコード領域にあります。(xxは80...BF)

UTF-8コード表(1)

  1. E3 xx xxの形式になっていない部分はISO-8859-1で未定義の制御コード領域となっている80...9Fの部分がコピペ編集等の過程で欠落したものと考える

制御コードを含む文字列をブラウザやターミナルに表示させた後、コピペしてエディターやWebの入力フォームに貼り付けると、制御コードの部分が失われます。

  1. xxの部分は上記の通り80...9Fと仮定し、欠落した部分を推定する

    E3 BB ⇒ E3 xx BB 〻ほセ・ㄻㅻㆻㇻ㈻㉻㊻㋻㌻㍻㎻㏻㐻㑻㒻㓻㔻㕻㖻㗻㘻㙻㚻㛻㜻㝻㞻㟻
    E3 AF ⇒ E3 xx AF  〯はクワㄯㅯㆯ㇯㈯㉯㊯㋯㌯㍯㎯㏯㐯㑯㒯㓯㔯㕯㖯㗯㘯㙯㚯㛯㜯㝯㞯㟯
    E3 AC ⇒ E3 xx AC  〬ぬガレㄬㅬㆬ㇬㈬㉬㊬㋬㌬㍬㎬㏬㐬㑬㒬㓬㔬㕬㖬㗬㘬㙬㚬㛬㜬㝬㞬㟬
    E3 B8 ⇒ E3 xx B8 〸へジヸㄸㅸㆸㇸ㈸㉸㊸㋸㌸㍸㎸㏸㐸㑸㒸㓸㔸㕸㖸㗸㘸㙸㚸㛸㜸㝸㞸㟸
    E3    ⇒ E3 xx xx (候補が多すぎるので後回し)
    E3    ⇒ E3 xx xx (候補が多すぎるので後回し)
    E3 AB ⇒ E3 xx AB  〫にカルㄫㅫㆫ㇫㈫㉫㊫㋫㌫㍫㎫㏫㐫㑫㒫㓫㔫㕫㖫㗫㘫㙫㚫㛫㜫㝫㞫㟫
    E3 BC ⇒ E3 xx BC 〼ぼゼーㄼㅼㆼㇼ㈼㉼㊼㋼㌼㍼㎼㏼㐼㑼㒼㓼㔼㕼㖼㗼㘼㙼㚼㛼㜼㝼㞼㟼
    E3    ⇒ E3 xx xx (候補が多すぎるので後回し)
    

(合成用文字等が含まれるので、一部のブラウザでは正しく表示できないかもしれません。悪しからず。)

  1. 上記の候補から日本語では滅多に使わない文字や記号を省いて、意味の通りそうな組み合わせを考える

    ・クレジ□□カー□
    
  2. 当然内容は「・クレジットカード」だと推定されるので、「ッ」「ト」「ド」の文字コードが上記のE3 xx xx (xxは80...9F)にマッチすることを調べます。

    ッ: E3 83 83
    ト: E3 83 88
    ド: E3 83 89
    

どの文字も80...9Fのバイトが欠落すればE3だけになってしまう、と言う条件を満たしますので、上記の推定が補強されたと言うことになります。


せめて情報が欠落してしまう前のバイト列を取得できれば、比較的簡単な方法(mb_系の関数)でエンコーディングを推定することもできたでしょうが、ご質問文のようにWebフォームに貼り付けられて元情報の一部が完全に欠落してしまうと、もう機械的な推定はほぼ不可能だと思います。(上記の推測にしても、もしかしたら別に日本語あるいは他の言語として自然な文字列があるかもしれません。)

私的にはどういう状況でどんな方法でそのデータを取得したのかがわからなければ、もう経験と勘に頼る(それも確実ではない)しかないのではないか、と言うのが結論です。

1
  • コピペした時点で、制御コード部分は失われるんですね。また、「推測の過程」を回答いただきありがとうございました。「取得方法不明」かつ「情報欠落後のデータ」からは、上記のように推測するしか手はないわけですね。大変参考になりました
    – re9
    Commented 2017年5月9日 8:21
0

mb_check_encoding もしくは mb_detect_encoding で文字列のエンコードを検出し、期待しているエンコードかどうかチェックするのはどうでしょう。

3
  • この関数を初めて知ったのですが、使い方がよく分かりませんでした。「文字化け」というのは、文字化けする処理のまさにその時対応すべきもので、一旦文字化けしたものを、後から(その文字だけから類推判定して)元に戻す、というのは厳しい感じでしょうか?
    – re9
    Commented 2017年4月27日 9:17
  • マルチバイトを扱う関数です。マニュアルはこちら](php.net/manual/ja/ref.mbstring.php)です。 ご質問ですが、ちょっと言葉だけだとよく把握できないので、具体的なコードを質問に追記できますか?
    – take88
    Commented 2017年5月1日 10:18
  • 追記しました。回答いただいた内容は「実行したエンコード」が分かっていないと、使用できないのでしょうか?
    – re9
    Commented 2017年5月9日 2:59

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。