5
票
OpenJTalkの辞書エントリのフォーマットがよくわかりません
まず MeCab の辞書は、CSV として最初の 4 つのフィールドは必須ですが、それ以降はユーザー定義のフィールドとなっています。
エントリは, 以下のような CSV で追加します.
test,1223,1223,6058,foo,bar,baz
最初の4つは必須エントリで, それぞれ(中略)となっています.
5カラム目以降は, ユーザ定義の CSV フィールドです. 基本的に ...
4
票
重み付きレーベンシュタイン距離の定義について
2が正しいです。1は距離の公理を満たさない場合があります。
距離は,遠回りをすると大きな値になります。
d(X, Y) ≦ d(X, Z) + d(Z, Y)
追加コスト=1,削除コスト=1,置換コスト=3 として,1の方法で次の編集距離を計算してみます。
d("ABCDEFG", "ABCXEFG") = 3
d("ABCDEFG", "ABCEFG") = 1
d("ABCEFG", "...
4
票
日本語のステミング(「よい」と「良い」が同じであるか判定する)方法
まだ完璧とは言えませんが、一定の進歩はありましたので、追記部分をこちらに移すとともに、再編集します。
UniDicにはIPADICにない素性があります。「語彙素・語形・書字形・発音形の階層構造を持ち,表記の揺れや語形の変異にかかわらず同一の見出しを与えることができます」とのことです。
辞書のCSVファイルを見てみると
すし屋,5142,5142,9609,名詞,普通名詞,一般,*,*,*,...
3
票
OpenJTalkの辞書エントリのフォーマットがよくわかりません
最後の項目の「C1」などの記号
最後の項目の「C1」などの記号は、nekketsuuuさんの回答にある「OpenJTalk の解析資料」にも触れられていますが、大まかに言うと「アクセント結合規則」を表現するもののようです。
多くの場所で「匂坂 芳典らによってまとめられた」という記述が有り、参考文献として下記2点が挙げられています。
『日本語単語連鎖のアクセント規則』
『...
3
票
承認済み
bag of wordsでのデータの表現について
[用語について]
バッグ(bag)というのは集合論の用語で、多重集合(multiset)とも呼ばれます。
集合(set)が、ある要素が含まれるか否か(1か0か)なのに比べて、バッグは同じ要素を複数個含むことができます。
1.
次元というのは、互いに独立な(他の値が変化しても、自分の値に影響がない)軸のことです。
この質問の「bag of words」では、個々の単語が別々の軸になっていて、...
2
票
Word2vecの追加学習について
gensimの場合なら以下のようにして古いモデルを読み込んだ後に新しいデータを与えれば学習できるはずですよ。
model = word2vec.Word2Vec.load("old_model")
model.train(sentences)
2
票
重み付きレーベンシュタイン距離の定義について
コスト自体の定義は行いたいことに合わせて変えればよいのでどちらの定義でも良いとは思いますが、通常 weighted edit distance と言うと 2 の方の定義が使われます。簡単に検索してみたところ、たとえば Stanford の "Introduction to Information Retrieval" では 2 の定義が使われています。また WikiBooks の "...
2
票
承認済み
長めの固有名詞が分割されてしまう
「何ををくっつけて何を分解するかという基準」を記述したものが辞書なので、そこに介入したいなら辞書をいじるしかないです。
「外国人」はipadicにもnaist-jdicにもjumandicにもないですね。
ipadic-neologd にはそのあたりの複合語のエントリが多く入っているので(実際「外国人」はあります)、ipadic-neologd を使うという手はありかと思います。
https://...
2
票
承認済み
協調フィルタリングにおける、アイテムベースとユーザーベースの区別方法
Asuka さんが質問文で例に挙げている「アイテムベース」の例は、むしろユーザーベースの例だと思います。
ユーザーベース vs アイテムベース
ユーザーベース協調フィルタリングでは、どのユーザーがどのアイテムを買ったかを元に、ユーザー×アイテムの表をデータベースとして持っています。そして新しいユーザー A が商品を買ったとき、どのアイテムを推薦するべきかを A さんと似た購入履歴を持つ ...
2
票
承認済み
自然言語処理100本ノックにおける第2章: UNIXコマンドの演習について
その本で述べられている
これらの再実装を通じて,(……)既存のツールのエコシステムを体感します.
という部分の趣旨を取りこぼしている気がします。
プログラムでも記述する必要があるのか
や
同じ処理を行うためにプログラムが必要なのは
という疑念を述べておられますが、「必要(ニーズ)があるから」そのような代用品を作るための学習をするという話ではなくて、
UNIX ...
2
票
承認済み
文中の単語を大文字から小文字に変換する時に、固有名詞や文頭の語だけ除外する方法について
nltkを使って形態素解析しつつ変換する例です。
import nltk
sentences = """Kate forgot John's login ID.
Her BLUE skirt looks good.
"""
def replace_if_all_uppercase(word):
# ...
1
票
MeCabで二つ以上のAlphabet記号をグルーピングしたい
k 記号,文字,*,*,*,*,ケー,K,k,ケー,k,ケー,記号,*,*,*,*,*,*,記号,ケー,ケー,ケー,ケー,1,*,*,3148735148335616,11455
ここに読みが出ているということは、これは辞書に登録されています。
辞書に登録されていて、未知語とした時のコストより小さいコストを持つため既知語の連接にされるのでしょう。辞書のコストを自分で編集して、...
1
票
日本語分かち書きシステムを評価するためのライブラリはありますか?
MeCab に付属する mecab-system-eval というコマンド
MevAL
mecab-system-eval の使い方は書籍『形態素解析の理論と実装』(Mecab の作者、 工藤 拓 著)に軽く半ページほど触れられています。MevAL は mecab-system-eval より機能が多いようです。
1
票
Excel マクロでDeepLを用いて翻訳する際、英文をピリオド区切りではなくセル内の丸ごとで翻訳したい
S_english = Sh_1.Cells(loop_1, 3).Value
の表現では、"/" や"()","#"を処理する際に問題があり、そこを修正すれば文章丸ごとを翻訳出来ました。(つまり、当該記号が処理する最後の部分となりますこの場合はDeepLに送る値)
英文において、当該記号を内容に応じて適当な接続詞に変更するなどすれば(&...
1
票
承認済み
transformersからTFGPT2LMHeadModelをインポートできない (cannot import name 'TFGPT2LMHeadModel' from 'transformers')
同様の報告がバグとして報告され、installationの記事が追加されたようです。
https://github.com/huggingface/transformers/issues/3396
This repository is tested on Python 3.6+, PyTorch 1.0.0+ (PyTorch 1.3.1+ for examples) and ...
1
票
承認済み
ハイフンとダッシュを区別した上でダッシュのみカンマに変える処理がうまくいかない問題について
求める出力を正規表現で得る方法はいかがでしょうか。
import re
samples = [
'A former employee of the accused company - - offered a statement off the record.', #two dashes
'He is afraid of two things — spiders and ...
1
票
Pytorch での予測ラベル出力時にエラー Attribute Error : Example has no attribute Label
機械学習で実現しようとしているタスクは文書分類で
機械学習モデルは学習済み
testのデータセットには正解のラベルがない
そして、やりたいことは機械学習の分類結果だけ見る
ということなので、
下記で、ラベルをデータセットから読み取るのをやめる
labels = batch.Label.to(device) # ラベル
下記で、正解率を出すことをやめる
# 結果の計算
...
1
票
文中の単語を大文字から小文字に変換する時に、固有名詞や文頭の語だけ除外する方法について
全部大文字の表現を小文字にしたいならば正規表現を使うことで柔軟に対応できます。
ただし下記のサンプルコードでは"I"が大文字判定され、数字を含むものや"MX."などの敬称が大文字だとちぐはぐな結果となりますので、条件や正規表現を工夫する必要があるかもしれません。
サンプルコード:
import re
samples = ["Kate forgot ...
1
票
承認済み
文中の動詞で過去形にする方法について
pattern.enのconjugateを使えば任意の時制や人称に変換できます。
patternのインストール
git clone -b development https://github.com/clips/pattern
cd pattern
python setup.py install
※Windowsの場合は管理者権限のコンソールで実行してください。
サンプルコード
from ...
1
票
PytorchでSeq2seqを設計したが、同じ単語ばかり出力される
同じようなことを試そうとしています。
以下の論文にseq2seqで作ったモデルに制約をかけ、繰り返し単語が出力されることを防ぐ仕組みが記載されています。
Sparse and Constrained Attention for Neural Machine Translation
有志による論文の要旨
https://github.com/ymym3412/acl-papers/issues/...
1
票
承認済み
Web上のプレインテキストを大量にスクレイピングするときに形式が異なる文書をどのように処理するべきか
残念ながら、それぞれの形式に合わせて個別に処理するようなプログラムを書きたくないということであれば、プログラムへ入力する前に手作業で形式を揃える前処理をするしか無いでしょう。
アノテーションのついていないプレーンテキストを処理する場合はこのような前処理も自分で行う必要があります。この用途だとむしろある程度のアノテーションが既に付いている HTML 版を元に処理する方がラクかもしれません。
また、...
1
票
自然言語処理100本ノックにおける第2章: UNIXコマンドの演習について
身近にあるもの(コマンド)を題材として、一行で済むものを実現するにはどんなプログラムを書く必要があるのか…を体験するためではないでしょうか。
一行で済むコマンドも、魔法で結果が出てくるわけではありません。中身が同じになるとは限らないけど、入力と出力を与えられた時にどんなプログラムを書けばよいかの練習材料だと私は思いました。
1
票
自然言語処理100本ノックにおける第2章: UNIXコマンドの演習について
勉強のためだからではないでしょうか?
うろ覚えですが、「素数夜曲―女王陛下のLISP | 吉田武著」の最後に、
「車輪の再発明」は、勉強には非常に効果があると書かれており、納得した記憶があります。
1
票
mecabの分かち書きが遅すぎて終わらない
node = node.next のインデントの高さが elif node.feature.split(",")[0] == u"動詞":文の内部になってしまっているので、ほぼ無限ループに近い形になってしまっているのではないでしょうか。
1
票
承認済み
Pythonでデータフレームをトピックモデル(LDA)で分析したい
リストで作成して最後にデータフレームに変換するのが簡単では?
datas = []
for unseen_doc, raw_train_text in zip(test_corpus, raw_test_texts):
# print(raw_train_text, end='\t')
for topic, score in lda[unseen_doc]:
...
1
票
承認済み
Word2Vecにおけるマイナスの概念について
今回お使いのライブラリの API ドキュメントによると、most_similar() はコサイン尺度から類似度を判定するようです。コサイン尺度は 2 つのベクトルの内積と符号が同じであり、距離とは異なりマイナスにも成り得ます。特に 2 つのベクトルの成す角が鈍角のときに負値となります。
1
票
Win10へのCaboChaインストールについて
64bit版のMeCabをインストールしていませんか?
私も同じ症状が出たのですが、32bit版のMeCabを追加でインストールし解決しました。
32bit版は公式サイトのBinary package for MS-Windowsからダウンロードできます。
インストーラーの指示通りにインストールしてください。
(参考)
公式サイト - http://taku910.github.io/...
無効化に投票