1

Javaで、Apache Tikaで、PDFのパース処理をしています。
ほとんどのPDFは、正常に、読み込めるのですが、パースエラーになったり、
パースできても、本文内の文字が連続する現象発生します。

ここで、お聞きしたいのは、「本文内の文字が連続する現象」の原因と対策方法です。
パースで取り出した長文の中から同じようなパターンの一部を下記へ抜粋。

(1)(1)(1)(1)風風風風林火林火林火林火山山山山用用用用DBDBDBDB

おそらく、PDFの「(1)風林火山用DB」が書かれている部分をTikaが取り出したときに、
PDFのコメント?、アクセシビリティ?、何かしら、普通に開いた時には見えないが、
PDFに埋め込まれているもの?をTikaがパースで取り出したのでは?と考えています。(想像)

ソース:

InputStream input = new FileInputStream("sample.pdf");
ContentHandler handler = new BodyContentHandler(Integer.MAX_VALUE);
Metadata metadata = new Metadata();
new PDFParser().parse(input, handler, metadata, new ParseContext());
String plainText = handler.toString();
System.out.println(plainText);

原因、及び、対応策(Tikaへの設定?など)は、ありますでしょうか?

■ご回答を頂いたものを試した結果
下記を試してみましたが、文字の連続は治りませんでした。
予想ですが、config 変数を、parser.parse() などに、セットが必要と考えます。
※今、日本のサイトでは事例が1つも見つからないので、海外のサイトでソース例を探していますが、見つかっていません。

もし、解決方法をご存知の方がいらましたら、やってみては?程度でかまいませんので、
お返事をお待ちしております。

PDFParser parser = new PDFParser();
PDFParserConfig config = new PDFParserConfig();

// 太字などを文字を重ねることで表現している場合における重複文字を無視するかどうか
config.setSuppressDuplicateOverlappingText(true);

// テキスト下線などを無視するかどうか
config.setExtractAnnotationText(false);

parser.parse(input, handler, metadata, new ParseContext());
1
  • 質問のコードのnew PDFParser().parse(input, handler, metadata, new ParseContext());の部分を回答で示したコードに置き換えていただくと、Configがセットされると思うのですが...。
    – Katsumi
    2016年9月15日 1:15

1 件の回答 1

1

PDFParserクラスには下記のようにPDF解析時の設定を追加することができます。

PDFParser parser = new PDFParser();
PDFParserConfig config = new PDFParserConfig();

// 太字などを文字を重ねることで表現している場合における重複文字を無視するかどうか
config.setSuppressDuplicateOverlappingText(true);

// テキスト下線などを無視するかどうか
config.setExtractAnnotationText(false);

// ParserにConfigを設定
parser.setPDFParserConfig(config);

parser.parse(input, handler, metadata, new ParseContext());

ご質問のファイルの状態がどのようになっているのかがわからないため、的確な回答はできませんが、上記のように解析オプションを変更してみて試してみてはいかがでしょうか。

4
  • ありがとうございます。 下記の様に教えて頂いた3行を追加しましたが、同じ結果でした。 確かに、文字が見た目のPDF文章では、太字とした線がある部分ですので、 この教えて頂いたのをうまく、プログラムで採用できれば解決できそうな 気がします。 とりあえず、今のままでは、変化が無かったので、config 変数をどこへ設定すればよいかを調べます。 Parser parser = new AutoDetectParser(); ContentHandler handler new BodyContentHandler(Integer.MAX_VALUE); Metadata metadata = new Metadata(); PDFParserConfig config = new PDFParserConfig(); config.setSuppressDuplicateOverlappingText(true); config.setExtractAnnotationText(false); parser.parse(new FileInputStream(document), handler, metadata, new ParseContext()); 2016年9月14日 7:17
  • configをparserにセットする方法をネットでさがしています。<br/> <br/> Parser parser = new AutoDetectParser();<br/> ContentHandler handler new BodyContentHandler(Integer.MAX_VALUE);<br/> Metadata metadata = new Metadata();<br/> PDFParserConfig config = new PDFParserConfig();<br/> <br/> config.setSuppressDuplicateOverlappingText(true);<br/> config.setExtractAnnotationText(false);<br/> parser.parse(new FileInputStream(document), handler, metadata, new ParseContext());<br/> 2016年9月14日 8:14
  • ※反省:上記コメントに、ヘルプに従い、行末に半角スペースを2つ入れましたが改行されていません。また、コードの先頭に半角スペースを4つ入れましたが、コード表示になりません。皆様、使い方がわからくすみません。それで、<br/>を書いてみましたが、改行されませんでした。 2016年9月14日 8:20
  • 2
    @技術オーバーフロー コメントは改行されません。コードは質問に追記してみてください。
    – ra1ned
    2016年9月14日 8:32

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。