6
票
Accepted
動詞の不規則変化などを考慮しながら英単語の出現頻度を求めたい
信用度足りずコメントできないので曖昧ですが回答欄に失礼。
TreeTaggerという形態素解析ツールで得られたlemma(基本形…?)を使って分類すれば目標は達成できそうです。
- 477
5
票
word2vecでテキストモードで出力した結果を、binaryモードでの出力結果にPythonで変換したい
Pythonで数値をバイナリに吐き出す方法を2つ説明したいと思います。
まず、何らかの方法でデータを得て、以下のような形でfloatのリストで持っているとします。
data = [0.1, 0.2, 0.3]
struct.pack を使う方法
import struct
with open('binaryVec.bin', 'wb') as f:
for x in data:
...
- 492
4
票
word2vecのdistanceはなぜ高速に動作するのか?
たしかに全探索を行っているように見えますね。
手元のマシン(MacBook Pro, core i5 2.6GHz)で、200次元ベクトルの類似度を20万個計算して上位を求めるコードを試してみました。
$ gcc -std=c99 hoge.c && time ./a.out
real 0m0.549s
user 0m0.495s
sys 0m0.044s
...
- 73
4
票
word2vecのdistanceはなぜ高速に動作するのか?
「なぜ速いのか」と言われると、「研究の成果です」とも回答できてしまいます。
「どういった工夫がされているのか」といった質問の方が良さそうです。
以下のページがわかりやすく説明されていると思いました。
http://business.nikkeibp.co.jp/article/bigdata/20141110/273649/
リンク先がみれる場合はそちらを参照してください。
...
- 3,560
4
票
日本語のステミング(「よい」と「良い」が同じであるか判定する)方法
まだ完璧とは言えませんが、一定の進歩はありましたので、追記部分をこちらに移すとともに、再編集します。
UniDicにはIPADICにない素性があります。「語彙素・語形・書字形・発音形の階層構造を持ち,表記の揺れや語形の変異にかかわらず同一の見出しを与えることができます」とのことです。
辞書のCSVファイルを見てみると
すし屋,5142,5142,9609,名詞,普通名詞,一般,*,*,*,...
- 663
4
票
重み付きレーベンシュタイン距離の定義について
2が正しいです。1は距離の公理を満たさない場合があります。
距離は,遠回りをすると大きな値になります。
d(X, Y) ≦ d(X, Z) + d(Z, Y)
追加コスト=1,削除コスト=1,置換コスト=3 として,1の方法で次の編集距離を計算してみます。
d("ABCDEFG", "ABCXEFG") = 3
d("ABCDEFG", "ABCEFG") = 1
d("ABCEFG", "...
- 61
3
票
Accepted
自然言語処理100本ノックにおける第2章: UNIXコマンドの演習について
その本で述べられている
これらの再実装を通じて,(……)既存のツールのエコシステムを体感します.
という部分の趣旨を取りこぼしている気がします。
プログラムでも記述する必要があるのか
や
同じ処理を行うためにプログラムが必要なのは
という疑念を述べておられますが、「必要(ニーズ)があるから」そのような代用品を作るための学習をするという話ではなくて、
UNIX ...
- 2,466
3
票
Accepted
bag of wordsでのデータの表現について
[用語について]
バッグ(bag)というのは集合論の用語で、多重集合(multiset)とも呼ばれます。
集合(set)が、ある要素が含まれるか否か(1か0か)なのに比べて、バッグは同じ要素を複数個含むことができます。
1.
次元というのは、互いに独立な(他の値が変化しても、自分の値に影響がない)軸のことです。
この質問の「bag of words」では、個々の単語が別々の軸になっていて、...
- 4,235
3
票
動詞の不規則変化などを考慮しながら英単語の出現頻度を求めたい
いくつかのツールやライブラリの使用を検討しましたが、最終的に @user10685 さんからご紹介いただいた TreeTagger で前処理を行うことにしました。
以下に実行手順を示します。実行は Linux (Fedora22) 環境です。
1. tree-tagger のインストール
上記リンク先の Download に記載の手順をそのまま行います。
今回は処理対象が英語であるため、...
- 1,642
3
票
Accepted
C言語 word2vecのベクトル化アルゴリズムについて
word2vecは次のような性質を持ちます
・単語を1of-Kベクトルで表現
・ニューラルネットで学習
・ニューラルネットの入力と出力は単語
その際に中間層としてn個(nはユーザーが決める任意の数)のノードを介しています。
注目している単語と周囲に出現(共起)する単語を入力と出力(正解データ)として各ノードを少しずつ学習します。
...
- 647
3
票
Accepted
文中の単語を大文字から小文字に変換する時に、固有名詞や文頭の語だけ除外する方法について
nltkを使って形態素解析しつつ変換する例です。
import nltk
sentences = """Kate forgot John's login ID.
Her BLUE skirt looks good.
"""
def replace_if_all_uppercase(word):
# ...
- 527
2
票
Accepted
word2vecのdistanceのソート部分(コサイン類似度)アルゴリズムについて
for i in range(1,271):
inpro = queryVec[i] *tlist[i]
ここ、inproの値が毎回書き換わってますが、内積計算ということなので、加算していかないといけない気がしました。
for i in range(1,271):
inpro += queryVec[i] *tlist[i]
またソートについては
max =...
- 2,577
2
票
word2vecでテキストモードで出力した結果を、binaryモードでの出力結果にPythonで変換したい
前半部分 質問も大分体裁が変わったので前半は削除しました。
日本語出力部分について追記
文字コードが不明なのでそこは気がかりですが、以下の様にすれば出力できると思います。
ライブラリの利用は @ywat さんがこちらで示しておられるので、私はベタな形で。
import struct
def write(out_filename, word, float_strings):
with ...
- 3,560
2
票
Accepted
協調フィルタリングにおける、アイテムベースとユーザーベースの区別方法
Asuka さんが質問文で例に挙げている「アイテムベース」の例は、むしろユーザーベースの例だと思います。
ユーザーベース vs アイテムベース
ユーザーベース協調フィルタリングでは、どのユーザーがどのアイテムを買ったかを元に、ユーザー×アイテムの表をデータベースとして持っています。そして新しいユーザー A が商品を買ったとき、どのアイテムを推薦するべきかを A さんと似た購入履歴を持つ ...
- 2.2万
2
票
Word2vecの追加学習について
gensimの場合なら以下のようにして古いモデルを読み込んだ後に新しいデータを与えれば学習できるはずですよ。
model = word2vec.Word2Vec.load("old_model")
model.train(sentences)
- 196
2
票
重み付きレーベンシュタイン距離の定義について
コスト自体の定義は行いたいことに合わせて変えればよいのでどちらの定義でも良いとは思いますが、通常 weighted edit distance と言うと 2 の方の定義が使われます。簡単に検索してみたところ、たとえば Stanford の "Introduction to Information Retrieval" では 2 の定義が使われています。また WikiBooks の "...
- 2.2万
2
票
自然言語処理100本ノックにおける第2章: UNIXコマンドの演習について
身近にあるもの(コマンド)を題材として、一行で済むものを実現するにはどんなプログラムを書く必要があるのか…を体験するためではないでしょうか。
一行で済むコマンドも、魔法で結果が出てくるわけではありません。中身が同じになるとは限らないけど、入力と出力を与えられた時にどんなプログラムを書けばよいかの練習材料だと私は思いました。
- 1.9万
2
票
自然言語処理100本ノックにおける第2章: UNIXコマンドの演習について
勉強のためだからではないでしょうか?
うろ覚えですが、「素数夜曲―女王陛下のLISP | 吉田武著」の最後に、
「車輪の再発明」は、勉強には非常に効果があると書かれており、納得した記憶があります。
- 4,599
2
票
文中の単語を大文字から小文字に変換する時に、固有名詞や文頭の語だけ除外する方法について
全部大文字の表現を小文字にしたいならば正規表現を使うことで柔軟に対応できます。
ただし下記のサンプルコードでは"I"が大文字判定され、数字を含むものや"MX."などの敬称が大文字だとちぐはぐな結果となりますので、条件や正規表現を工夫する必要があるかもしれません。
サンプルコード:
import re
samples = ["Kate forgot ...
- 1.1万
2
票
Accepted
文中の動詞で過去形にする方法について
pattern.enのconjugateを使えば任意の時制や人称に変換できます。
patternのインストール
git clone -b development https://github.com/clips/pattern
cd pattern
python setup.py install
※Windowsの場合は管理者権限のコンソールで実行してください。
サンプルコード
from ...
- 1.1万
2
票
Accepted
長めの固有名詞が分割されてしまう
「何ををくっつけて何を分解するかという基準」を記述したものが辞書なので、そこに介入したいなら辞書をいじるしかないです。
「外国人」はipadicにもnaist-jdicにもjumandicにもないですね。
ipadic-neologd にはそのあたりの複合語のエントリが多く入っているので(実際「外国人」はあります)、ipadic-neologd を使うという手はありかと思います。
https://...
- 1,954
2
票
Accepted
Web上のプレインテキストを大量にスクレイピングするときに形式が異なる文書をどのように処理するべきか
残念ながら、それぞれの形式に合わせて個別に処理するようなプログラムを書きたくないということであれば、プログラムへ入力する前に手作業で形式を揃える前処理をするしか無いでしょう。
アノテーションのついていないプレーンテキストを処理する場合はこのような前処理も自分で行う必要があります。この用途だとむしろある程度のアノテーションが既に付いている HTML 版を元に処理する方がラクかもしれません。
また、...
- 2.2万
2
票
Accepted
ハイフンとダッシュを区別した上でダッシュのみカンマに変える処理がうまくいかない問題について
求める出力を正規表現で得る方法はいかがでしょうか。
import re
samples = [
'A former employee of the accused company - - offered a statement off the record.', #two dashes
'He is afraid of two things — spiders and ...
- 1.1万
1
票
Accepted
Pythonのモジュールを用いた特徴量抽出のためのプログラムでエラーが出る問題について
この記事が該当すると思われます。
エラーメッセージのように、モデルデータが無いことが原因なのでしょう。
spacy.load('en')が実行できない
Q:
Jupyter notebookで下記のコードを実行すると、次のようなエラーがでます。
import spacy
en_nlp = spacy.load('en')
OSError: [E050] Can't find model 'en'...
- 1.7万
1
票
PytorchでSeq2seqを設計したが、同じ単語ばかり出力される
同じようなことを試そうとしています。
以下の論文にseq2seqで作ったモデルに制約をかけ、繰り返し単語が出力されることを防ぐ仕組みが記載されています。
Sparse and Constrained Attention for Neural Machine Translation
有志による論文の要旨
https://github.com/ymym3412/acl-papers/issues/...
- 527
1
票
Web上のプレインテキストを大量にスクレイピングするときに形式が異なる文書をどのように処理するべきか
様々なWebページからスクレイピングが出来るのは、そうしたWebページがHTMLという統一した形式で書かれているからです。
書式が異なるテキストを、統一した書式に変換するのですから、個々の書式に合わせてプログラミングするしかありません。
シェークスピア(ハムレット)は戯曲で、劇中人物(Dramatis Personæ)も書かれているようですから、モンゴメリー(赤毛のアン、アンの友達)...
- 4,235
1
票
mecabの分かち書きが遅すぎて終わらない
node = node.next のインデントの高さが elif node.feature.split(",")[0] == u"動詞":文の内部になってしまっているので、ほぼ無限ループに近い形になってしまっているのではないでしょうか。
- 27
Only top scored, non community-wiki answers of a minimum length are eligible