3

英語版で質問しましたが回答が得られそうにないので、こちらで質問させていただきます。
https://stackoverflow.com/questions/48286364/pandas-series-apply-doesnt-work-consist-of-strings/48292467?noredirect=1#comment83570234_48292467

一つの文字列ではMecabで形態素解析をしたら、うまく動作しますが、
Pandasを用いて一つづつ形態素解析をしてもうまく処理されません。

エンコードの問題かと思っておりまして、いろいろ試しましたがうまくいきませんでした。

sample.csv

0,今日も夜まで働きました。
1,オフィスには誰もいませんが、エラーと格闘中
2,デバッグばかりしていますが、どうにもなりません。

This is Pandas Python3 code

import pandas as pd
import MeCab  
# https://en.wikipedia.org/wiki/MeCab
from tqdm import tqdm_notebook as tqdm
# This is working...
df = pd.read_csv('sample.csv', encoding='utf-8')

m = MeCab.Tagger ("-Ochasen")

text = "りんごを食べました、そして、みかんも食べました"
a = m.parse(text)

print(a)# working! 

# But I want to use Pandas's Series



def extractKeyword(text):
    """Morphological analysis of text and returning a list of only nouns"""
    tagger = MeCab.Tagger('-Ochasen')
    node = tagger.parseToNode(text)
    keywords = []
    while node:
        if node.feature.split(",")[0] == u"名詞": # this means noun
            keywords.append(node.surface)
        node = node.next
    return keywords



aa = extractKeyword(text) #working!!

me = df.apply(lambda x: extractKeyword(x))

#TypeError: ("in method 'Tagger_parseToNode', argument 2 of type 'char const *'", 'occurred at index 0')

This is the trace error

りんご リンゴ りんご 名詞-一般       
を   ヲ   を   助詞-格助詞-一般       
食べ  タベ  食べる 動詞-自立   一段  連用形
まし  マシ  ます  助動詞 特殊・マス   連用形
た   タ   た   助動詞 特殊・タ    基本形
、   、   、   記号-読点       
そして ソシテ そして 接続詞     
、   、   、   記号-読点       
みかん ミカン みかん 名詞-一般       
も   モ   も   助詞-係助詞      
食べ  タベ  食べる 動詞-自立   一段  連用形
まし  マシ  ます  助動詞 特殊・マス   連用形
た   タ   た   助動詞 特殊・タ    基本形
EOS

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-174-81a0d5d62dc4> in <module>()
    32 aa = extractKeyword(text) #working!!
    33 
---> 34 me = df.apply(lambda x: extractKeyword(x))

~/anaconda3/lib/python3.6/site-packages/pandas/core/frame.py in apply(self, func, axis, broadcast, raw, reduce, args, **kwds)
4260                         f, axis,
4261                         reduce=reduce,
-> 4262                         ignore_failures=ignore_failures)
4263             else:
4264                 return self._apply_broadcast(f, axis)

~/anaconda3/lib/python3.6/site-packages/pandas/core/frame.py in _apply_standard(self, func, axis, ignore_failures, reduce)
4356             try:
4357                 for i, v in enumerate(series_gen):
-> 4358                     results[i] = func(v)
4359                     keys.append(v.name)
4360             except Exception as e:

<ipython-input-174-81a0d5d62dc4> in <lambda>(x)
    32 aa = extractKeyword(text) #working!!
    33 
---> 34 me = df.apply(lambda x: extractKeyword(x))

<ipython-input-174-81a0d5d62dc4> in extractKeyword(text)
    20     """Morphological analysis of text and returning a list of only nouns"""
    21     tagger = MeCab.Tagger('-Ochasen')
---> 22     node = tagger.parseToNode(text)
    23     keywords = []
    24     while node:

~/anaconda3/lib/python3.6/site-packages/MeCab.py in parseToNode(self, *args)
    280     __repr__ = _swig_repr
    281     def parse(self, *args): return _MeCab.Tagger_parse(self, *args)
--> 282     def parseToNode(self, *args): return _MeCab.Tagger_parseToNode(self, *args)
    283     def parseNBest(self, *args): return _MeCab.Tagger_parseNBest(self, *args)
    284     def parseNBestInit(self, *args): return _MeCab.Tagger_parseNBestInit(self, *args)

TypeError: ("in method 'Tagger_parseToNode', argument 2 of type 'char const *'", 'occurred at index 0')w

1 件の回答 1

3

extractKeywordに渡せるのはstr型だけです(そのように意図されています)。
ですがdf.applyでは、関数に渡るのはpandas.core.series.Series型ですからうまくいきません。
df.apply(type)を実行すればわかったはずです。(lambdaは不要です。関数名でいいです)

MeCab.Taggerはグローバルに1つだけ作成して、それを使いましょう。

本筋ではないですが、csvの読み込みがおかしくないですか?

>>> import pandas as pd
>>> import io
>>> df = pd.read_csv(io.StringIO("""0,今日も夜まで働きました。
... 1,オフィスには誰もいませんが、エラーと格闘中
... 2,デバッグばかりしていますが、どうにもなりません。"""))
>>>
>>> df
   0              今日も夜まで働きました。
0  1     オフィスには誰もいませんが、エラーと格闘中
1  2  デバッグばかりしていますが、どうにもなりません。

今日も夜まで働きました。という名前が付いたカラムになりませんか?


以上をまとめると、

import pandas as pd
import MeCab
import io
df = pd.read_csv(io.StringIO("""0,今日も夜まで働きました。
1,オフィスには誰もいませんが、エラーと格闘中
2,デバッグばかりしていますが、どうにもなりません。"""), names=['id','sentence'])

tagger = MeCab.Tagger("-Ochasen")

# 不具合回避のためのダミー実行(コメント参照)
tagger.parseToNode('ダミー')

def extractKeyword(text):
    """Morphological analysis of text and returning a list of only nouns"""
    node = tagger.parseToNode(text)
    keywords = []
    while node:
        if node.feature.split(",")[0] == u"名詞": # this means noun
            keywords.append(node.surface)
        node = node.next
    return keywords

me = df['sentence'].apply(extractKeyword)

でしょうか。

>>> df
   id                  sentence
0   0              今日も夜まで働きました。
1   1     オフィスには誰もいませんが、エラーと格闘中
2   2  デバッグばかりしていますが、どうにもなりません。
>>> me
0                   [今日, ]
1    [オフィス, 誰, エラー, 格闘, 中]
2                   [デバッグ]
Name: sentence, dtype: object
10
  • ありがとうございます!!、まだ今は精査してはいないのですが、さっそく実行してみたところ、UnicodeDecodeError: 'utf-8' codec can't decode byte 0xed in position 0: invalid continuation byteとエラーが表示されてしまいます。。
    – YOSUKE
    Commented 2018年1月17日 12:58
  • 1
    なんでしょう。parseToNodeメソッドが初回だけ失敗するような気がします。tagger = MeCab.Tagger("-Ochasen") のあとに tagger.parseToNode('ダミー') とかするとうまくいくような……。
    – quickquip
    Commented 2018年1月17日 13:30
  • 1
    いえ、こちらでも起きることがありました。初回だけの様な雰囲気は感じていたのですが確認はしていませんでした。私以外の環境でも同様なら不具合なのでしょうか?
    – quickquip
    Commented 2018年1月17日 14:08
  • 1
    tagger.parseToNode('ダミー') の位置はtagger生成の直後にすると発生しますか?
    – quickquip
    Commented 2018年1月17日 14:12
  • 1
    github.com/SamuraiT/mecab-python3/issues/3
    – YOSUKE
    Commented 2018年1月17日 14:47

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。