0

clu0=[[分かち書きされ、各単語が''で格納された文章データ1],[同2]...[同n]]
clu1=[[同3],[同4],[同5]...[同m]]
...
のようなデータセットがあるとします。

この時、clu0やclu1の重要単語を抽出したいです。
そこで、3重の入れ子構造のリストを用いてtfidf値を算出しようと

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.decomposition import TruncatedSVD
from sklearn.preprocessing import Normalizer

def tf(doc):
    vectorizer = CountVectorizer(token_pattern=u'(?u)\\b\\w+\\b')
    features = vectorizer.fit_transform(doc)
    terms = vetures, terms

def tfidf(cludocs_list):

    vectorizer = TfidfVectorizer(min_df=1, max_df=50, token_pattern=u'(?u)\\b\\w+\\b')
    features = vectorizer.fit_transform(cludocs_list)
    terms = vectorizer.get_feature_names()

    return features, terms

def reduction(x, dim=10):

    '''
    dimensionality reduction using LSA
    '''
    lsa = TruncatedSVD()
    x = lsa.fit_transform(x)
    x = Normalizer(copy=False).fit_transform(x)

    return x

if __name__ == '__main__':
    cludocs_list = [clu0_docs,clu1_docs]
    cludocs_list = [' '.join(d) for d in cludocs_list]
    features, terms = tfidf(cludocs_list)

としてtfidf値を計算しようとしたところ

TypeError: sequence item 0: expected str instance, list found

となり、計算出来ませんでした。
このコードによるtfidf計算はcludocs_listの部分が2重の入れ子構造リストでなければ上手くいかない、ということは分かるのですが、clu0やclu1を1つの文章として見立ててしまうと、ほとんどの単語のdfが1になってしまい、重要語ではなく頻度の高い単語が抽出されてしまいます。
『clu0にあってclu1にはない特徴語』を算出するにはどのようにコードを改変すれば良いのでしょうか。

非常にわかりづらい質問かもしれませんが、どなたかご教授いただけますと幸いです。

2
  • 特徴語の算出については分かりませんが、2次元のリストに変形する部分については cludocs_list = [' '.join(d) for d in cludocs_list] の部分を cludocs_list = [[' '.join(x) for x in d] for d in cludocs_list] とすれば良いのでしょう。
    – user39889
    Commented 2019年11月28日 10:07
  • その TypeError 例外はどこで発生していますか?
    – masm
    Commented 2019年11月28日 15:20

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。