4

MeCabをMacにインストールする手順

上記リンク先の手順通りにMeCabをインストールして、pip3 install mecab-python3をpython3で

import MeCab
mecab = MeCab.Tagger("-Ochasen")
print(mecab.parse("ダックスフンドが歩いている。"))

としたところ'utf-8' codec can't decode bytes in positionというエラーが出てしまいました。どなたかご教授お願い致します。

[~] mecab -D                                                                                                          13:23:03
filename:   /usr/local/mecab/lib/mecab/dic/ipadic/sys.dic
version:    102
charset:    utf8
type:   0
size:   392126
left size:  1316
right size: 1316

[~] mecab -P                                                                                                          13:24:06
bos-feature: BOS/EOS,*,*,*,*,*,*,*,*
bos-format:
config-charset: EUC-JP
cost-factor: 700
dicdir: /usr/local/mecab/lib/mecab/dic/ipadic
dump-config: 1
eon-format:
eos-format: EOS\n
eos-format-chasen: EOS\n
eos-format-chasen2: EOS\n
eos-format-simple: EOS\n
eos-format-yomi: \n
eval-size: 8
lattice-level: 0
max-grouping-size: 24
nbest: 1
node-format: %m\t%H\n
node-format-chasen: %m\t%f[7]\t%f[6]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\n
node-format-chasen2: %M\t%f[7]\t%f[6]\t%F-[0,1,2,3]\t%f[4]\t%f[5]\n
node-format-simple: %m\t%F-[0,1,2,3]\n
node-format-yomi: %pS%f[7]
theta: 0.75
unk-eval-size: 4
unk-format: %m\t%H\n
unk-format-chasen: %m\t%m\t%m\t%F-[0,1,2,3]\t\t\n
unk-format-chasen2: %M\t%m\t%m\t%F-[0,1,2,3]\t\t\n
unk-format-yomi: %M

[~] echo ダックスフンドが歩いている。 |mecab -Ochasen                                                                 13:24:13
ダックスフンド ダックスフンド ダックスフンド 名詞-一般
が   ガ   が   助詞-格助詞-一般
歩い  アルイ 歩く  動詞-自立   五段・カ行イ音便    連用タ接続
て   テ   て   助詞-接続助詞
いる  イル  いる  動詞-非自立  一段  基本形
。   。   。   記号-句点
EOS
import sys 
sys.getdefaultencoding() 
'utf-8'

となっていました。

1
  • config-charset: EUC-JP は少し気になりますが、辞書自体はUTF-8で構築されているようですし、実際に mecab コマンドはUTF-8環境で文字化けせず動作しており、よく解らないですね。 一応、Python側で辞書の charset を確認する方法を回答に追記しました。
    – mjy
    Commented 2018年3月31日 5:43

1 件の回答 1

3

文字コードの不一致

Python3のソースコードのデフォルトエンコーディングはUTF-8で、文字列(str)はUnicodeを保持します
MeCabの辞書の(おそらく質問者さんが使っているであろう)ipadic はデフォルトではEUCで作られます
この不一致がエラーの原因です。(追記: 違っていました。質問者さんの辞書はUTF-8とのこと)
./configure --with-charset=utf8 でUTF-8の辞書を構築するのが、最も簡単な解決方法だと思います。

辞書の文字コードの確認

mecab コマンド はオプション -D, --dictionary-info で辞書の情報を出力します。

$ mecab -D

文字コードがUTF-8であれば charset: UTF-8 のように出力されます。
Python側でも以下のように確認できるようです。

mecab = MeCab.Tagger("-Ochasen")
info = mecab.dictionary_info()
print(info.charset)
4
  • 回答ありがとうございます。 [~] mecab -D filename: /usr/local/mecab/lib/mecab/dic/ipadic/sys.dic version: 102 charset: utf8 type: 0 size: 392126 left size: 1316 right size: 1316 import sys sys.getdefaultencoding() 'utf-8' となりました他に考えられる原因はありますでしょうか? Commented 2018年3月31日 2:26
  • @RyosukeYokota なるほど。リンク先をよく読んだら UTF-8 で作成する手順になっていましたね。 コメントの投稿は私にしか通知されせんから、上記 mecab -D の出力は質問に追記してみてください。 また、その際は省略なしのエラーメッセージや、念のため mecab -P の出力、echo ダックスフンドが歩いている。 |mecab -Ochasen が成功するのか、あたりも含めるとよいと思います。
    – mjy
    Commented 2018年3月31日 3:38
  • 詳しく回答していただきありがとうございます。情報を追加しますので、もう一度見てもらえると幸いです。よろしくお願いします。 Commented 2018年3月31日 4:25
  • 1
    qiita.com/musaprg/items/9a572ad5c4e28f79d2ae の記事を参考にして解決しました。ありがとうございました。またなにかあればよろしくお願い致します。 Commented 2018年3月31日 7:20

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。