5
Pythonで数値をバイナリに吐き出す方法を2つ説明したいと思います。
まず、何らかの方法でデータを得て、以下のような形でfloatのリストで持っているとします。
data = [0.1, 0.2, 0.3]
struct.pack を使う方法
import struct
with open('binaryVec.bin', 'wb') as f:
for x in data:
four_bytes = struct.pack('f', x)
f.write(four_bytes)
packのformat characterの種類と意味
numpy arrray の tofile メソッドを使う方法
上記の方法はforループを使うので、...
4
たしかに全探索を行っているように見えますね。
手元のマシン(MacBook Pro, core i5 2.6GHz)で、200次元ベクトルの類似度を20万個計算して上位を求めるコードを試してみました。
$ gcc -std=c99 hoge.c && time ./a.out
real 0m0.549s
user 0m0.495s
sys 0m0.044s
……というわけで、「最近のマシンだとベタに書いても余裕」ということではないでしょうか。
ベンチマークコードは以下です。
#include <stdio.h>
#include <stdlib.h>
const long long N = 40; // ...
4
「なぜ速いのか」と言われると、「研究の成果です」とも回答できてしまいます。
「どういった工夫がされているのか」といった質問の方が良さそうです。
以下のページがわかりやすく説明されていると思いました。
http://business.nikkeibp.co.jp/article/bigdata/20141110/273649/
リンク先がみれる場合はそちらを参照してください。
以下は将来リンク先が見れなくなった場合に備えて速度に関する部分を要約してみました。
人工ニューラルネットワークの研究で提唱された「分散表現」という考え方を使い、「同じ文脈の中にある単語はお互いに近い意味を持っている」という前提のもとに人工ニューラルネットワークに学習させるようです。
...
3
word2vecは次のような性質を持ちます
・単語を1of-Kベクトルで表現
・ニューラルネットで学習
・ニューラルネットの入力と出力は単語
その際に中間層としてn個(nはユーザーが決める任意の数)のノードを介しています。
注目している単語と周囲に出現(共起)する単語を入力と出力(正解データ)として各ノードを少しずつ学習します。
学習が終わった際の中間層のn個のノードがword2vecの各単語のもつベクトルです。
この中間層のn個のノードがまさかベクトルの各次元になっているとは思いませんでした。
この方法でできたベクトルが上記のような性質を持っているなんて不思議ですね。
以下の参考文献のお陰で理解出来ました。もしよければ読んでみて下さい。
参考文献:word2vecによる自然言語処理
2
gensimの場合なら以下のようにして古いモデルを読み込んだ後に新しいデータを与えれば学習できるはずですよ。
model = word2vec.Word2Vec.load("old_model")
model.train(sentences)
2
前半部分 質問も大分体裁が変わったので前半は削除しました。
日本語出力部分について追記
文字コードが不明なのでそこは気がかりですが、以下の様にすれば出力できると思います。
ライブラリの利用は @ywat さんがこちらで示しておられるので、私はベタな形で。
import struct
def write(out_filename, word, float_strings):
with open(out_filename, "ab") as fp:
fp.write(word)
fp.write(struct.pack('b',0x20))
for x in float_strings:
fp.write(struct.pack(...
2
for i in range(1,271):
inpro = queryVec[i] *tlist[i]
ここ、inproの値が毎回書き換わってますが、内積計算ということなので、加算していかないといけない気がしました。
for i in range(1,271):
inpro += queryVec[i] *tlist[i]
またソートについては
max = N
for k,v in sorted(cos.items(), key=lambda x:x[1], reverse=True):
if max == 0:
break
if query == v:
continue
print '%50s\t\t%f' % ...
2
以下のいずれかではないかと思います。
corpus.txtに「ゲーム」と言う単語が無い
「ゲーム」と言う単語が無い別のcorpus.txtを参照している
私の環境で、同じpom.xmlとソースコードで確認してみましたが、corpus.txtに「ゲーム」と言う単語が含まれていれば、配列は空にはなりませんでした。
英単語であれば動作するとのことなので、別のディレクトリにある英語版のcorpus.txtを参照しているのではないでしょうか。
1
今回お使いのライブラリの API ドキュメントによると、most_similar() はコサイン尺度から類似度を判定するようです。コサイン尺度は 2 つのベクトルの内積と符号が同じであり、距離とは異なりマイナスにも成り得ます。特に 2 つのベクトルの成す角が鈍角のときに負値となります。
1
同様のエラーが発生しましたが、私は以下で解決しました。
word = unicode(sys.argv[2], 'utf-8')
results = model.most_similar(positive=word, topn=10)
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります