上記リンク先の手順通りにMeCabをインストールして、pip3 install mecab-python3をpython3で
import MeCab
mecab = MeCab.Tagger("-Ochasen")
print(mecab.parse("ダックスフンドが歩いている。"))
としたところ'utf-8' codec can't decode bytes in position
というエラーが出てしまいました。どなたかご教授お願い致します。
[~] mecab -D 13:23:03
filename: /usr/local/mecab/lib/mecab/dic/ipadic/sys.dic
version: 102
charset: utf8
type: 0
size: 392126
left size: 1316
right size: 1316
[~] mecab -P 13:24:06
bos-feature: BOS/EOS,*,*,*,*,*,*,*,*
bos-format:
config-charset: EUC-JP
cost-factor: 700
dicdir: /usr/local/mecab/lib/mecab/dic/ipadic
dump-config: 1
eon-format:
eos-format: EOS\n
eos-format-chasen: EOS\n
eos-format-chasen2: EOS\n
eos-format-simple: EOS\n
eos-format-yomi: \n
eval-size: 8
lattice-level: 0
max-grouping-size: 24
nbest: 1
node-format: %m\t%H\n
node-format-chasen: %m\t%f[7]\t%f[6]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\n
node-format-chasen2: %M\t%f[7]\t%f[6]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\n
node-format-simple: %m\t%F-[0,1,2,3]\n
node-format-yomi: %pS%f[7]
theta: 0.75
unk-eval-size: 4
unk-format: %m\t%H\n
unk-format-chasen: %m\t%m\t%m\t%F-[0,1,2,3]\t\t\n
unk-format-chasen2: %M\t%m\t%m\t%F-[0,1,2,3]\t\t\n
unk-format-yomi: %M
[~] echo ダックスフンドが歩いている。 |mecab -Ochasen 13:24:13
ダックスフンド ダックスフンド ダックスフンド 名詞-一般
が ガ が 助詞-格助詞-一般
歩い アルイ 歩く 動詞-自立 五段・カ行イ音便 連用タ接続
て テ て 助詞-接続助詞
いる イル いる 動詞-非自立 一段 基本形
。 。 。 記号-句点
EOS
import sys
sys.getdefaultencoding()
'utf-8'
となっていました。
config-charset: EUC-JP
は少し気になりますが、辞書自体はUTF-8で構築されているようですし、実際にmecab
コマンドはUTF-8環境で文字化けせず動作しており、よく解らないですね。 一応、Python側で辞書のcharset
を確認する方法を回答に追記しました。