MeCabをSHIFT-JISでインストールした時の現象と酷似しています。
コマンドラインやPowerShellから下記のコマンドを実行して、標準で使う辞書の文字コードを確認してください。
PS D:\root\usr\MeCab> mecab -D
filename: D:\root\usr\MeCab\etc\..\dic\ipadic\sys.dic
version: 102
charset: SHIFT-JIS
type: 0
size: 392126
left size: 1316
right size: 1316
charset: SHIFT-JIS
になっている場合は、SHIFT-JISの辞書を読み込んでいることが原因です。
もしcharset: UTF-8
になっている場合は、私の回答とは原因と対策が異なります。
なお下記のコマンドはUTF-8でインストールした時の辞書を読み込んだ結果を表示しています。
PS D:\root\usr\MeCab> mecab -D -r .\etc\mecabrc_utf8
filename: .\etc\..\dic\ipadic_utf8\sys.dic
version: 102
charset: UTF-8
type: 0
size: 392126
left size: 1316
right size: 1316
charset: SHIFT-JIS
の場合は、もう一度MeCabをUTF-8で再インストールすると正しく動作する可能性が高いです。
※アンインストールは不要です。インストーラから同一フォルダに上書き可能です。
既存の辞書と共存させたい場合は辞書フォルダをバックアップしておいてください。
※上記リンク先のQiita記事を8/17版でそのまま実行すると「PythonからMeCabでの形態素解析」の章でSyntaxError例外が発生しますので、MeCab.Tagger("-r C:\...
をMeCab.Tagger(r"-r C:\...
に読み替えてダブルクォーテーションの前にr
を付けてください。
またはmecab-ipadic-neologdという強力な辞書を使って(utf8の辞書なので結果的に)文字化け対策することも可能です。
※※neologdの辞書作成にはWSL (Windows Subsystem for Linux)などの導入が必要なので非常に苦労する場合もあります。
import MeCab
#todo MeCabのインストールフォルダに書き換え
root = r"D:\root\usr\MeCab"
tagger_sjis = MeCab.Tagger() # SHIFT-JIS
tagger_sjis.parse("メロンパン")
# '\udce3\udc83\t\udc96\udcbc\udc8e\udc8c,\udc88\udcea\udc94\udcca,*,*,*,*,*\n\udca1\t\udc96\udcbc\udc8e\udc8c,\udc83T\udc95ϐڑ\udcb1,*,*,*,*,*\n\udce3\udc83\t\udc96\udcbc\udc8e\udc8c,\udc88\udcea\udc94\udcca,*,*,*,*,*\n\udcad\t\udc96\udcbc\udc8e\udc8c,\udc88\udcea\udc94\udcca,*,*,*,*,*\n\udce3\udc83\t\udc96\udcbc\udc8e\udc8c,\udc88\udcea\udc94\udcca,*,*,*,*,*\n\udcb3\t\udc96\udcbc\udc8e\udc8c,\udc88\udcea\udc94\udcca,*,*,*,*,*\nパ\udce3\t\udc96\udcbc\udc8e\udc8c,\udc88\udcea\udc94\udcca,*,*,*,*,*\n\udc83\udcb3\t\udc8bL\udc8d\udc86,\udc83A\udc83\udc8b\udc83t\udc83@\udc83x\udc83b\udc83g,*,*,*,*,\udc83\udcb3,\udc83t\udc83@\udc83C,\udc83t\udc83@\udc83C\nEOS\n'
tagger_utf8 = MeCab.Tagger(r"-r {}\etc\mecabrc_utf8".format(root)) # 共存させたutf8の辞書をリソースで指定
tagger_utf8.parse("メロンパン")
# 'メロン\t名詞,一般,*,*,*,*,メロン,メロン,メロン\nパン\t名詞,一般,*,*,*,*,パン,パン,パン\nEOS\n'
tagger_neologd = MeCab.Tagger(r"-d {}\dic\mecab-ipadic-neologd".format(root)) # 作成したneologdの辞書をディレクトリで指定
tagger_neologd.parse("メロンパン")
# 'メロンパン\t名詞,固有名詞,一般,*,*,*,メロンパン,メロンパン,メロンパン\nEOS\n'
python 3.7 でSHIFT-JIS版を使えないか
難しいと思います。
parseにsjisを渡そうとしても文字列はUTF-8です。
文字列をTaggerでparseすると、sjisを必要とするmecabにUTF-8を渡し、戻ってくるsjisをUTF-8と解釈してエンコードに失敗します。
parseにバイト配列を渡すこともSJISファイルを直接読み込ませることもできません。
tagger_sjis.parse('あ'.encode('sjis'))
# TypeError: in method 'Tagger_parse', argument 2 of type 'char const *'
出力で\udce3
などを表示する理由は、parseの戻り値が不明なsjisの場合超要約すると、PythonがサロゲートコードポイントのうちU+DC80からU+DCFFを私的に流用してるってことのようです。
サロゲートペアの下位をencodeするとエラーとなります。
tagger_sjis.parse('あ').encode()
# UnicodeEncodeError: 'utf-8' codec can't encode characters in position 0-1: surrogates not allowed
SJISファイルに出力を試みてもSJISへのencodeと同一のエラーになります。
tagger_sjis.parse('あ').encode('sjis')
# UnicodeEncodeError: 'shift_jis' codec can't encode character '\udce3' in position 0: illegal multibyte sequence
with open('test.txt', 'w', encoding='sjis') as f:
f.write(tagger_sjis.parse('あ'))
# UnicodeEncodeError: 'shift_jis' codec can't encode character '\udce3' in position 0: illegal multibyte sequence
デフォルトエンコーディングをSJISに変える方法も3.7では使えません。
import sys
import importlib
importlib.reload(sys)
sys.setdefaultencoding('cp932')
# AttributeError: module 'sys' has no attribute 'setdefaultencoding'
Popenからコマンドラインでmecabを呼び出すことはできますが、それでは本末転倒です。
以上の試行錯誤の結果から、pythonで形態素解析する場合はMeCabをUTF-8でインストールするかkakashiを使う方が簡単であるという結論に至りました。
anaconda3上のpython3.6.5で使用
したいなら、使うのはpip
ではなくconda
だと思います