6

JAVAで、テキストファイルを読み込む処理を下記の様に作ったのですが、
読み込むテキストファイルが、EUCやShift-JIS、GB2312などのように、
UTF-8以外の場合、読み込んだStringの中が、文字化け状態です。

ユニコード(UTF-8)に変換して、読み込まれていないのが原因?

尚、読み込むファイルの文字コードの判定方法は不明なので、
今は、下記の様に固定で、UTF-8を指定しています。

★事前に文字コードを判定する処理や、このソースへ追加/修正することで、
JAVAが何かの変換処理で?サポートしている?文字コードなら、
UTF-8として、Stringに、読み込めるようにできないでしょうか?

InputStreamReader   fr  = null;
BufferedReader      br  = null;

try {
    fr  = new InputStreamReader(new FileInputStream(strFile_name), "UTF-8");
    br  = new BufferedReader(fr);

    // 既存のreadLine()では\rまたは\n、および\r\nにて改行とみなしている。
    String strLine  = null;
    int    iCount   = 0;
    while ((strLine = br.readLine()) != null) { // null=ファイルの最後
        file_text_line.add(strLine);
        iCount++;
    }

    br.close();
    fr.close();

    return iCount;  // 読込み成功(注意:0件の時もある)
}
catch (FileNotFoundException e) {

2 件の回答 2

7

昔の知識ですが、EUC-JPやShift_JIS系なら "JISAutoDetect" を指定する手があります。

Java8の時代にはもうないかも、と思ったけどまだあるみたいです。

5

まず基本的にStringの内部表現はUTF-16固定です(JVMのオプションで変えれなくもない)。InputStreamReaderの二つ目の引数はReaderで読み取ろうとしているバイト列のエンコーディングを指定するためで、ご質問の場合はテキストファイルのエンコーディングを指定する必要があります。
残念ながらJava標準ライブラリには与えられたバイト列から自動でエンコーディングを判定してStringにしてくれる関数などはありませんので、手動できめるか、自分で判定用関数を書くか、何らかの外部ライブラリを使うしかありません。
以下いくつかJava用ライブラリの例ですが、まず前提として何の追加情報もないバイト列からエンコーディングを100%当てる方法はないので(ウェブブラウザとかでも良く文字化けしますよね)外れた場合の対処手段は用意したほうが良いと思います。

  • ICU4J(つい最近までGoogle Chromeで使われてたやつ)
  • juniversalchardet(昔のFirefoxのアルゴリズムをJavaに移行したもの)
  • jChardet(同上)

正直精度はどれも微妙ですが、ICU4Jの例を以下に。

//ファイルのバイトストリーム(一応バッファーに通す)
BufferedInputStream bis = new BufferedInputStream(new FileInputStream(strFile_name));

//ICU4JのCharsetDetectorクラスでエンコーディングを推測できる
CharsetDetector cd = new CharsetDetector();
cd.setText(bis);
CharsetMatch cm = cd.detect();

//cm.getConfidence()であってる確率を取得(0-100)
//この値で判定を採用するかを決めるのもありだと思います
//与えたバイト数が短いと基本低確率
if(cm.getConfidence() > 70) {
    //7割以上の確立であってる
} else {
    //7割以下であってる
}

//判定されたcharsetを取得
String charset = cm.getName();
//または直接Readerを取得
Reader r = cm.getReader();
4
  • ありがとうございます。バイナリ読込みでStringへ読み込む処理もありますので、そちらの方が、ライン読み?で勝手に文字コード変換されたり?していないので、よいかもしれないですね。とりあえず、上記ソースコードを埋め込んで、判定処理してみます。 Commented 2016年9月15日 11:00
  • 結果、UTF16(BE)のファイルを、IBM420_ltrと判定してしまいます。やはり、判定制度は、微妙なんですね。 Commented 2016年9月16日 2:22
  • 「バイナリ読込みでStringへ読み込む処理」が何のことなのかわかりませんが、「ライン読み込み」でしたら正しいエンコーディングが指定されたReaderがあればBufferedReaderに通せばgetLine()で1行ずつ取得できます。 あとIBM420_ltrと判定された時のgetConfidence()はどのくらいでしたか?
    – packet0
    Commented 2016年9月16日 2:28
  • 現実的な解として、「Mule」や「Meadow」といった多言語対応の(入力ファイルや出力ファイルのエンコードを変更する機能を持つ)エディタでファイルを開いてみて、エンコードを判断するのが良いのではないでしょうか。エンコードを確実に判断できるプログラムは存在しないのですから、人の目で判断する。そのツールとしては多言語対応エディタが適しているという事です。
    – Fumu 7
    Commented 2016年10月7日 5:20

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。