0

現在下記Java(spring boot)コードにて、deeplearning4jのword2vec実現を試みております。

// Wikipediaの日本語コーパスファイル
SentenceIterator iter = new BasicLineIterator(resourceLoader.getResource("classpath:static/corpus/corpus.txt").getFile());

TokenizerFactory t  = new JapaneseTokenizerFactory();

Word2Vec vec = new Word2Vec.Builder()
    .minWordFrequency(2)
    .layerSize(100)
    .seed(42)
    .windowSize(5)
    .iterate(iter)
    .tokenizerFactory(t)
    .workers(10)
    .build();

// 実行
vec.fit();

System.out.println(vec.wordsNearest("ラテン",1)); → []※空の配列が出力される 

<pom.xml>

<!-- kuromoji 
<dependency>
    <groupId>com.atilika.kuromoji</groupId>
    <artifactId>kuromoji-ipadic</artifactId>
    <version>0.9.0</version>
</dependency>
-->
<!-- nd4j -->
<dependency>
    <groupId>org.nd4j</groupId>
    <artifactId>nd4j-native-platform</artifactId>
    <version>0.9.1</version>
</dependency>

<!-- woed2vec -->
<dependency>
    <groupId>org.deeplearning4j</groupId>
    <artifactId>deeplearning4j-nlp-japanese</artifactId>
    <version>0.9.1</version>
</dependency>

<dependency>
    <groupId>org.deeplearning4j</groupId>
    <artifactId>deeplearning4j-core</artifactId>
    <version>0.9.1</version>
</dependency>

<dependency>
    <groupId>org.deeplearning4j</groupId>
    <artifactId>deeplearning4j-ui_2.10</artifactId>
    <version>0.9.1</version>
</dependency>

wordsNearest()の引数に英単語を渡した場合は動作しているようですが、日本語を渡した場合は、wordsNearest()の実行結果が何もありません。
どのようにソースを修正すれば日本語が動作するか、分かる方がいましたらご教授をお願い致します。また、JapaneseTokenizerFactoryでないその他TokenizerFactoryでの実現方法があれば、そちらでも構いません。

<corpus.txtの内容>

[[アンパサンド]]
アンパサンド (&、英語名:ampersand) とは並立助詞「…と…」を意味する記号である。ラテン語の "et" の合字で、Trebuchet MSフォントでは、と表示され "et" の合字であることが容易にわかる。ampersa、すなわち "and per se and"、その意味は"and [the symbol which] by itself [is] and"である。
== 歴史 ==
その使用は1世紀に遡ることができ、5世紀中葉から現代に至るまでの変遷がわかる。 Z に続くラテン文字アルファベットの27字目とされた時期もある。
アンパサンドと同じ役割を果たす文字に「{仮リンク|ティロ式記号|en|Tironian notes}のet」と呼ばれる、数字の「7」に似た記号があった(⁊, U+204A)。この記号は現在もゲール文字で使われている。
記号名の「アンパサンド」は、ラテン語まじりの英語「& はそれ自身 "and" を表す」(& per se and) のくずれた形である。英語以外の言語での名称は多様である。

---追記---
corpus.txtのファイル形式をSJISにすることで、wordsNearest()の結果配列を取得することができましたが、corpus.txtがUTF8ですとwordsNearest()の結果配列が空になってしまう状況です。

4
  • ソースコードの最後をSystem.out.println(vec.wordsNearest("言語",1));に変えても結果は変わりませんか? Commented 2019年1月9日 9:43
  • ご提案ありがとうございます。結果は変わりませんでした。 Commented 2019年1月9日 10:28
  • System.out.println(vec.wordsNearest("ゲーム",1));は何を出力しますか? Commented 2019年1月9日 13:02
  • コンソールには [] という空の配列が出力されます。 Commented 2019年1月10日 2:59

1 件の回答 1

2

以下のいずれかではないかと思います。

  • corpus.txtに「ゲーム」と言う単語が無い
  • 「ゲーム」と言う単語が無い別のcorpus.txtを参照している

私の環境で、同じpom.xmlとソースコードで確認してみましたが、corpus.txtに「ゲーム」と言う単語が含まれていれば、配列は空にはなりませんでした。

英単語であれば動作するとのことなので、別のディレクトリにある英語版のcorpus.txtを参照しているのではないでしょうか。

8
  • ご確認頂きありがとうございます。他の用語で検証してみます。 Commented 2019年1月10日 6:46
  • 1
    corpus.txtをUTF-8にするとうまくいきませんかね?corpus.txtを正しく読めていないように思います。 Commented 2019年1月10日 9:26
  • 1
    あとは、 System.out.println(resourceLoader.getResource("classpath:static/corpus/corpus.txt").getFile().getAbsolutePath());の1行を追加して、意図したファイルを読み込んでいるか確認してみるとか。 Commented 2019年1月10日 13:45
  • 1
    逆にUTF-8では駄目ですか... Spring Bootの起動時のJVMオプションに、-Dfile.encoding=SJISとか付いてたりしませんかね? Commented 2019年1月11日 9:57
  • 1
    JVMのエンコード設定にMS932が設定されており、 BasicLineIteratorがそのエンコードでファイル文字取得を行っておりました。 BasicLineIteratorのファイル読み込み時に、UTF8を指定することで解決されました。 Commented 2019年1月11日 10:08

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。