1

pythonでMeCabで文章の処理をかけています。

for text in df["msg_body"]:
    for line in mecab.parse(text).rstrip().splitlines():
        items = line.split("\t")
        if len(items) == 2:
            surface, feature = items
            if re.search("^(名詞|動詞,自立)", feature) and not\ 
                         re.search("^(BOS/EOS|名詞,数|記号)", feature):
                small_list.append(surface)
            else:
                surface=" "                    
                small_list.append(surface)

のように、対象の文章から、名詞と動詞のみ(名詞は数字と記号は抜かす)ように条件を与えています。
ですが、出力結果の品詞をカウントしてみると、

['名詞', '一般', '*']        216
['動詞', '自立', '*']        139
['名詞', '固有名詞', '一般']     121
['名詞', 'サ変接続', '*']       63
['名詞', '固有名詞', '組織']      29
['名詞', '固有名詞', '人名']      28
['名詞', '固有名詞', '地域']      24
['副詞', '一般', '*']          7
['形容詞', '自立', '*']         7
['名詞', '形容動詞語幹', '*']      5

と、除外した単語が入ってきます。
これはどうしてでしょうか?
MeCabではこのような不安定な挙動があるのでしょうか?
もしくはコードが間違えているのでしょうか?
よろしくお願いします。

追記 (コメントへの返信)

feature には何が入っていますか? MeCab のインスタンスはどうやって生成していますか?

featureはコードの通りです。mecab = MeCab.Tagger("-b 5242880")でパースしたものは基本的に単語と品詞(ここではsurfaceとfeature)に分けられますので。mecabインスタンスは上記のとおりです。dfはテキストが入っているデータフレームです。small_listは条件をクリアした単語のみ格納するただのリストです。

条件を満たすものは surface だけしか集めていないのに、どうやってフィルター後の feature を数えているのですか?

残った単語を再度パースしているだけです。

0

1 件の回答 1

2

「あった」を解析すると(辞書にもよりますが)

あっ  動詞,自立,*,*,五段・ラ行,連用タ接続,ある,アッ,アッ
た   助動詞,*,*,*,特殊・タ,基本形,た,タ,タ

となって、この表層「あっ」だけ再度解析したら、当然

あっ  感動詞,*,*,*,*,*,あっ,アッ,アッ

という結果になりますよね。

追記

            if re.search("^(名詞|動詞,自立)", feature) and not\ 
                         re.search("^(BOS/EOS|名詞,数|記号)", feature):

のコードには特に問題はありません。

            if re.search("^(名詞|動詞,自立)", feature) and not re.search("^名詞,数)", feature):

でいいだろうとは思いましたが本質的な間違いではないです。

5
  • ご返答ありがとうございます。内容をみると「きっと」などのなにかしらから分解されたとは考えがたいものが入っています。 Commented 2019年2月19日 9:06
  • 「考える」必要がありますか? あなたの手元のコードで起こっているのですからあなたがコードを書いて確認すればいいのではないですか? (質問に挙げられたコードが不完全だという指摘はすでにされてますよね)
    – quickquip
    Commented 2019年2月19日 9:52
  • 1
    一応書いておきますが。 "内容をみると「きっと」など(略)が入っています"と言われても一体それがどういう処理を通ってきたものなのかすら、こちらには伝わっていないのです。 質問にある前半だけのコードと日本語の説明から「それは駄目なことをしている」という推測はできるのでその点だけは回答しましたが、個別の問題としてこういうものがあると言われてもこちらには検証も指摘も不能なのです。
    – quickquip
    Commented 2019年2月20日 1:34
  • すいません、私のこのコメントは記録として残すだけなので、スルーしてください。回答するためにさらに情報が欲しいので質問いたします。nekketsuuu さんの質問にもありますが、feature には何が入っていますか? MeCab のインスタンスはどうやって生成していますか? df とはなんでしょうか? small_list とはなんでしょうか?「出力結果の品詞をカウント」はどうやっているのでしょうか?
    – miwarin
    Commented 2019年2月20日 4:38
  • 「featureはコードの通りです」ではなく、実際に print(feature) などするとどのような出力が得られるでしょうか?
    – miwarin
    Commented 2019年2月20日 4:43

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。