[自然言語処理] タグが付いた質問
18
未回答やベストアンサーなし質問
2
票
0
回答
118
閲覧数
自然言語処理の前処理として、自然言語とコード部分を切り分けたい
自然言語とコード部分が混在しているテキストを、自然言語とコード部分に分割したいです。
GitHubのissueの分析を行っていますが、issueの本文内に自然言語とコードやログが混在していることが多々あります。
Markdown等を用いてあるissueでは該当箇所を分割することができます。しかし、コードやログ結果を直貼りしてある場合は切り分けが難しく困っています。
何かいい方法はありますでしょうか?...
1
票
0
回答
571
閲覧数
Not a gzipped file (b'<!')のエラー
google colaboratory において単語ベクトルの計算をしようとGoogleNews-vectors-negative300を読み込んだところエラーが発生しました.
エラーメッセージは以下の通りです.gzファイルでないといわれていますが,gzファイルを読み込んでいるはずなので,どこがエラーの原因であるか分かってない状況です.(コードはメッセージの下に書いています.)
...
1
票
1
回答
686
閲覧数
Pytorchでの予測ラベルの出力について
僕は今自然言語処理の勉強をしていて、本を参考にしながらコードを書いていました。
最後の予測が本のデータだとテストデータにもラベルがついているため以下のコードで正答率が出力されますが、自分が使用しているデータはテストデータにはTEXTしかないのでこのコードのままだとエラーが出てしまいます。
いろいろコードを改変してみたりしましたがうまく動きませんでした。...
1
票
1
回答
425
閲覧数
PytorchでSeq2seqを設計したが、同じ単語ばかり出力される
PytorchでSeq2seqを使って文章の校正を行おうとしたのですが、
Decoderから同じ単語しか出力されません。
main.pyです。
これを実行すると訓練などもろもろを実行します。
#main.py
import copy
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch....
1
票
0
回答
56
閲覧数
RNNで文章生成モデルを作る際にたびたび発生する問題について
RNNで文章生成を行うと毎回出力文章の末尾の文字が連続してしまいます。
どのようなモデルを用いた場合でも発生します。
例:明日は晴れるといいなななななななななな
のような感じです。
この問題に遭遇した経験がある方、
もしくはこの問題の解決法を知っている方がいらしたら回答いただきたいです。
1
票
0
回答
38
閲覧数
自然言語処理のデータセットについて
以下のように,単語と文にマルチラベルが付与されているデータセットを探しています.
< text >
it be very overpriced and not very tasty
< wrd-label >
non non non non [food,price] non non non [food]
< stc-label >
[food, price]
...
1
票
0
回答
865
閲覧数
nltkにおけるBLEUスコアの算出方法について
自然言語処理についての質問です.
nltkを用いて,BLEUスコアの算出をしようと試みています.
ところが,以下のコードを試したところ,
hypothesis1とhypothesis2で算出されたBLEUスコアが同じになり,
正しくスコア算出ができていないのではと懸念しています.
どなたか,下記のような結果になる理由をご教示いただけますでしょうか.
import nltk #version:...
1
票
0
回答
203
閲覧数
MeCabで短単位かつ最新の語彙が収録された辞書を使う方法
お世話になっております。
MeCabには多数の辞書がありますが、IPADICとUniDicは長い間メンテナンスされていません。また人手によってチェックされている面もあるので、語彙数は多くありません。
NEologdは今でも週に2回更新されていて語彙数はとても多いのですが、私の用途では分割が長すぎて不適なケースがあります。
「国立オリンピック記念青少年総合センター」...
1
票
0
回答
180
閲覧数
音声認識の確率的言語モデルに使う辞書の適切な大きさについて
初歩的な音声認識エンジンを作っています。言語モデルの辞書についてうまく考えがまとまらないので、相談させてください。
お尋ねしたいのは音響モデルの発音や言語モデルに使う単語の粒度です。
「たかくらけん」と喋ってみたところ「高倉 建」になりましたが、有名俳優の「高倉健」と聞き取って欲しいと思っています。
形態素解析器にmecab, 辞書にmecab-ipadic-NEologd + ...
0
票
0
回答
94
閲覧数
fasttextを用いて単語の分散表現⇒Sequentialで文章分類をしたいです!
初心者のため、難しいことはわかりませんm(_ _)m
colaboratory上で動かしています。
・まずは、自分で試したことを書きます。
まずはfasttextをダウンロードしました。
!mkdir data
!wget https://dl.fbaipublicfiles.com/fasttext/vectors-crawl/cc.ja.300.vec.gz -P data/
def ...
0
票
0
回答
96
閲覧数
STM 最適なトピック数を決める方法
STMでトピック抽出を行っており、最適なトピック数を決める方法で質問があります。
kResult <- searchK(out$documents, out$vocab, K=c(7,8,9,10), prevalence=~rating+s(day), data=meta)
kResult$results
plot(kResult)
...
0
票
1
回答
986
閲覧数
Excel マクロでDeepLを用いて翻訳する際、英文をピリオド区切りではなくセル内の丸ごとで翻訳したい
表題の通りですが、文章がピリオド区切り、つまり一つの文のみでDeepLに入力されてしまうので、英文全体をセルから取得したいです。.Valueの箇所を.Textに変更したりはしています。
Sub Translate()
Application.ScreenUpdating = False
Application.Calculation = xlCalculationManual
...
0
票
1
回答
141
閲覧数
品詞を指定して形態素解析
readtextlistを名詞・動詞・形容詞に絞って形態素解析したいのですが、 すべての品詞がアウトプットされてしまいます。
import MeCab
words_list = []
t = MeCab.Tagger('-d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd')
for s in readtextlist:
...
0
票
1
回答
119
閲覧数
pythonでLDA
以下のコードを実行するとエラーが表示されてしまいます。
エラーメッセージ
*/usr/local/lib/python3.6/dist-packages/smart_open/smart_open_lib.py:402: UserWarning: This function is deprecated, use smart_open.open instead. See the ...
0
票
1
回答
87
閲覧数
tsvファイルに書かれている文章を分かち書きし、文章ごとに単語を入れ子構造リストとして格納したい
tsvファイルを読み込み、IDと単語を各行ごとに紐づけて分かち書きをしました。
このうち、単語のみを文章ごとにリストに格納するコードが分かりません。
したいアウトプットの形としては[['単語','単語'],['単語'.....]...]
という形です。
どなたかコードのご教授お願い致します。
from gensim.models.doc2vec import Doc2Vec
from ...
0
票
0
回答
83
閲覧数
3重の入れ子構造のリストのtfidf値を算出したい
clu0=[[分かち書きされ、各単語が''で格納された文章データ1],[同2]...[同n]]
clu1=[[同3],[同4],[同5]...[同m]]
...
のようなデータセットがあるとします。
この時、clu0やclu1の重要単語を抽出したいです。
そこで、3重の入れ子構造のリストを用いてtfidf値を算出しようと
from sklearn.feature_extraction.text ...
0
票
0
回答
203
閲覧数
List index out of rangeによりリストが作れない
Doc2vecにより文章データのクラスタリングを行うため、モデルの学習とクラスタリングを行いました。その後、各クラスタの文章データを1つの文章として見立て、クラスタごとにtfidf値を求め、各クラスタの重要語を抽出し、クラスタの意味を解釈しようとしています。
その際、「各クラスタの文章データを1つの文章として見立て」の部分でつっかえてしまいました。
from gensim.models....
0
票
0
回答
309
閲覧数
pythonでtaggeddocumentが階段のような構造で出力される
使用環境
jupyternotebook
windows10
言葉では非常に説明しづらいので出力結果を見ていただきたいです。
from gensim.models.doc2vec import Doc2Vec
from gensim.models.doc2vec import TaggedDocument
import MeCab
import csv
mt = MeCab.Tagger()...