0

以下のようなデータフレームのデータに対し、Pythonのgensimを用いてLDAを行いたいのですが参考にできるサイト・書籍がなく困っています。
ぐぐるとインプットするデータは本文のみのtxtファイルばかりです。

id,q1,q2,txt1,txt2,txt3
1,2,2,hogehoge,fugafuga,piyopiyo
2,3,1,hogafuge,fugehoga,puyo
...

アウトプットイメージは以下のような感じです。
今回はtxt1を3トピック、txt2を2トピック、txt3を5トピックにしました。(可変です)

id,q1,q2,txt1,txt2,txt3,ptxt1_1,ptxt1_2,ptxt1_3,ptxt2_1,ptxt2_2,ptxt3_1,ptxt3_2,ptxt3_3,ptxt3_4,ptxt3_5
1,2,2,hogehoge,fugafuga,piyopiyo,0.2,0.5,0.3,0.6,0.4,0.2,0.2,0.2,0.2,0.2
2,3,1,hogafuge,fugehoga,puyo,0.2,0.5,0.3,0.6,0.4,0.2,0.2,0.2,0.2,0.2
...

右側にそれぞれのトピックの確率が付く感じです。

参考になるページやコードでも構いません。
Rのtopicmodelsを使って分析、でも構わないです。

お手数ですが、お詳しい方よろしくお願いいたします。

追記
【Python】トピックモデル(LDA) - Qiita

上記ページのコードではtxtファイルをwith openで開き、for line in fで一行ずつ回しているようですが、これをデータフレームで書くとどのようになりますでしょうか?

一度データフレームをtxtファイルで出力して再度読み込み、というのは避けたいと思っております。

追記2
最後の各トピックの確率をデータフレームにするところで詰まっています…

    df = pd.DataFrame(index=[],columns=['title','a1','a2','a3'])

    for unseen_doc, raw_train_text in zip(test_corpus, raw_test_texts):
        print(raw_train_text, end='\t')
        title = pd.DataFrame([raw_train_text])
        for topic, score in lda[unseen_doc]:
            score_by_topic[int(topic)] = float(score)
            scr = pd.DataFrame.from_dict(score_by_topic,orient='index').T
            plus = pd.concat([title,scr],axis=1)
        for i in range(NUM_TOPICS):
            print('{:.2f}'.format(score_by_topic[i]), end='\t')
            df = df.append(plus)

というコードで一行ずつ下からくっつけようとしていますが、

ValueError: Plan shapes are not aligned

というエラーが出てしまいます。

appendの1行をコメントアウトすると通ります。

詳しい方、ご助言をよろしくお願いいたします。

1
  • 試しているソースコード全体を質問に追記すれば、データフレームの組み立てに関することについては答えが得られ易いと思います。
    – kunif
    Commented 2019年9月10日 14:29

1 件の回答 1

1

リストで作成して最後にデータフレームに変換するのが簡単では?

datas = []
for unseen_doc, raw_train_text in zip(test_corpus, raw_test_texts):
    # print(raw_train_text, end='\t')
    for topic, score in lda[unseen_doc]:
        score_by_topic[int(topic)] = float(score)
    entry = [raw_train_text]
    for i in range(NUM_TOPICS):
        # print('{:.2f}'.format(score_by_topic[i]), end='\t')
        entry.append(str(score_by_topic[i]))
    # print()
    datas.append(entry)

df = pd.DataFrame(datas,columns=['title','a1','a2','a3'])
df = df.astype({'a1': float, 'a2': float, 'a3': float})

print(df)

結果表示はこうなりました。

             title        a1        a2        a3
0  爆発 現場で缶100本ガス抜き  0.333333  0.333333  0.333333
1    爆発の瞬間 デマ動画が拡散  0.333333  0.333333  0.333333
2  バニラエア 来年10月運航終了  0.333333  0.333333  0.333333
3   コンビニごみ 店舗負担の矛盾  0.333333  0.333333  0.333333
4   謎めいたカエル 南米で再発見  0.333333  0.333333  0.333333
5   イニエスタ うつ報道の難しさ  0.333333  0.333333  0.333333
6    ムネリン笑顔「少し元気に」  0.333333  0.333333  0.333333
7  G菅野 ゴジラ超え6.5億円に  0.333333  0.333333  0.333333
2
  • ありがとうございます!もう一点お聞きしたいのですが、columns=['title','a1','a2','a3']の部分をnum_topicsの引数を使って可変にする方法をお教えいただけないでしょうか。astypeの方はfor文で簡単に回せたのですが。
    – user87562
    Commented 2019年9月14日 17:16
  • 1
    列名のリストを変数に作成して、それをデータフレーム作成時でも事後でも指定すれば出来ます。 【Pandas入門】DataFrame等の列の名前を指定できるcolumns引数!
    – kunif
    Commented 2019年9月14日 22:33

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。