0

MeCabのchar.defは未知語処理のルールを定義します。その中、Alphabet記号のグルーピング方法も書かれています。私の理解が正しいのなら、その意味は「いつもAlphabet記号が連鎖する」です。

# CATEGORY_NAME INVOKE GROUP LENGTH
ALPHA           1 1 0 

でも、実際にやってみると、記号の数が少ない場合(2〜4)、解析結果が思った通りではないようです。

% mecab -d .
koko
k       記号,文字,*,*,*,*,ケー,K,k,ケー,k,ケー,記号,*,*,*,*,*,*,記号,ケー,ケー,ケー,ケー,1,*,*,3148735148335616,11455
o       記号,文字,*,*,*,*,オー,O,o,オー,o,オー,記号,*,*,*,*,*,*,記号,オー,オー,オー,オー,1,*,*,1507988921786880,5486
k       記号,文字,*,*,*,*,ケー,K,k,ケー,k,ケー,記号,*,*,*,*,*,*,記号,ケー,ケー,ケー,ケー,1,*,*,3148735148335616,11455
o       記号,文字,*,*,*,*,オー,O,o,オー,o,オー,記号,*,*,*,*,*,*,記号,オー,オー,オー,オー,1,*,*,1507988921786880,5486
EOS

助けてください!

1 件の回答 1

1
k       記号,文字,*,*,*,*,ケー,K,k,ケー,k,ケー,記号,*,*,*,*,*,*,記号,ケー,ケー,ケー,ケー,1,*,*,3148735148335616,11455

ここに読みが出ているということは、これは辞書に登録されています
辞書に登録されていて、未知語とした時のコストより小さいコストを持つため既知語の連接にされるのでしょう。辞書のコストを自分で編集して、自分が望むように学習し直す必要がありそうです


他にどの程度影響がでるか分かりませんが
unk.defの

ALPHA,1285,1285,13398,名詞,一般,*,*,*,*,*

あたりを

ALPHA,1285,1285,0,名詞,一般,*,*,*,*,*

などとして、CSVの4番目でコストを最小の0にして辞書を作り直す(=makeの実行)と、おそらくアルファベットの連接がすべてこの品詞になると思われます。

5
  • コメントありがとうございます。記号の数が多い(>5)はちゃんと未知語として処理されるようです。例えば、「kokoniwa」の解析結果がkokoniwa 感動詞,一般,*,*,*,*です
    – Sophiefy
    Commented 2023年9月27日 7:03
  • それから、こちらよると、「INVOKE」というパラメーターは1と設定されれば、既知語があるとしても、未知語処理も動かします。
    – Sophiefy
    Commented 2023年9月27日 7:06
  • 既知語があるとしても、未知語処理も動かします < なるほど。未知語処理を動かした結果のコストと、既知語の連接とみなした時のコストで、既知語の連接とみなした時のコストの方が小さいから既知語の連接にされているんですね(回答を編集しました)
    – quickquip
    Commented 2023年9月27日 7:13
  • なるほど!さっきunk.defのALPHAに所属する未知語のcostを小さくしたら、解析結果が欲しいように出てきました!koko 感動詞,一般,*,*,*,*。大変助かります。ありがとうございます!
    – Sophiefy
    Commented 2023年9月27日 7:25
  • 追記と入れ違いになったみたいですがよかったです
    – quickquip
    Commented 2023年9月27日 7:54

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。