初心者のため、難しいことはわかりませんm(_ _)m
colaboratory上で動かしています。
・まずは、自分で試したことを書きます。
まずはfasttextをダウンロードしました。
!mkdir data
!wget https://dl.fbaipublicfiles.com/fasttext/vectors-crawl/cc.ja.300.vec.gz -P data/
def load_fasttext(filepath, binary=False):
model = gensim.models.KeyedVectors.load_word2vec_format(filepath, binary=binary)
return model
wv = load_fasttext('data/cc.ja.300.vec.gz')
Sequential(kerasのドキュメントより)の原型はこれをイメージしています。複数のカテゴリに分類したいです。
from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.layers import Embedding
from keras.layers import LSTM
model = Sequential()
model.add(Embedding(max_features, output_dim=256))
model.add(LSTM(128))
model.add(Dropout(0.5))
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy',
optimizer='rmsprop',
metrics=['accuracy'])
model.fit(x_train, y_train, batch_size=16, epochs=10)
score = model.evaluate(x_test, y_test, batch_size=16)
・質問です
①fasttextをSequentialに取り入れるにはどうすれば良いのか
ネットで調べた所、Embedding層に入れる感じかなと思ったんですが、コードでどうやって書くのか知りたいです。加えて、上のイメージで多クラス分類ができているかわからないので、そこも知りたいです。
②学習データはどのような形で渡せば良いのか
目的変数のyには、文章のラベルが入るので良いと思うのですが、
説明変数のxには、何を入れるのでしょうか。文章をMeCabで形態素解析をすることはしました。その後の処理がわかりません。
③上記のSequentialモデルのコードは、学習して評価することで終わっていますが、実際に未知の文章が与えられて、分類したいとなった時どのようにコードを書けば良いでしょうか?
④文章分類ができるようになるための入門書籍で良いのがあれば知りたいです!