すべての質問
7 件の質問
0
票
1
回答
100
閲覧数
MeCabで二つ以上のAlphabet記号をグルーピングしたい
MeCabのchar.defは未知語処理のルールを定義します。その中、Alphabet記号のグルーピング方法も書かれています。私の理解が正しいのなら、その意味は「いつもAlphabet記号が連鎖する」です。
# CATEGORY_NAME INVOKE GROUP LENGTH
ALPHA 1 1 0
でも、実際にやってみると、記号の数が少ない場合(2〜4)、...
3
票
2
回答
379
閲覧数
OpenJTalkの辞書エントリのフォーマットがよくわかりません
日本語自然言語処理に興味を持つ中国の大学生です。最近はopenjtalkでg2pを行なっています。デフォルトのnaist-jdicに登録された単語は少ないので、ユーザー辞書を構造したいと考えています。でもこのnaist-jdicのエントリを見てみると、一般のMeCabスタイルのエントリとはちょっと違って、2項目の余計な情報が追加されています。
具体的に、一般のMeCab辞書のエントリは以下ように。
...
0
票
1
回答
131
閲覧数
tsvファイルに書かれている文章を分かち書きし、文章ごとに単語を入れ子構造リストとして格納したい
tsvファイルを読み込み、IDと単語を各行ごとに紐づけて分かち書きをしました。
このうち、単語のみを文章ごとにリストに格納するコードが分かりません。
したいアウトプットの形としては[['単語','単語'],['単語'.....]...]
という形です。
どなたかコードのご教授お願い致します。
from gensim.models.doc2vec import Doc2Vec
from ...
0
票
2
回答
669
閲覧数
tsvファイルを分かち書きし、特定の品詞を基本形で出力したい
tsvファイルをmecabを用いて分かち書きを行い、名詞・形容詞・動詞のみを基本形でリスト化したいです。
tsvファイルを読み込み、mecabを用いて分かち書きし、ストップワードを除外するコード/名詞・形容詞・動詞のみを基本形で分かち書きするコードはそれぞれあるのですが、2つを組み合わせる方法が分かりません。
どなたかご教授いただけると幸いです。
使用環境
jupyternotebook
...
1
票
1
回答
419
閲覧数
長めの固有名詞が分割されてしまう
分かち書きや形態素解析をする際、長めの固有名詞が2つに分割されてしまいます。
例)外国人 → 外国 / 人
これらをくっつけて出力する方法はありますでしょうか。
ユーザー辞書などに追加するしかないのでしょうか。
できればですが、基本的なMecabを使った以下のコードから改変したいです。
*コード*
import MeCab
m = MeCab.Tagger ("-Owakati")
print(...
1
票
0
回答
246
閲覧数
MeCabで短単位かつ最新の語彙が収録された辞書を使う方法
お世話になっております。
MeCabには多数の辞書がありますが、IPADICとUniDicは長い間メンテナンスされていません。また人手によってチェックされている面もあるので、語彙数は多くありません。
NEologdは今でも週に2回更新されていて語彙数はとても多いのですが、私の用途では分割が長すぎて不適なケースがあります。
「国立オリンピック記念青少年総合センター」...
12
票
1
回答
1,123
閲覧数
日本語のステミング(「よい」と「良い」が同じであるか判定する)方法
お世話になっております。
日本語の文章を分割する際にMeCabを使っています。ここで非常によく似た2つの文を入力します。
私たちは寿司屋に行った
私達はすし屋に行った
結果
私 たち は 寿司 屋 に 行っ た
私 達 は すし 屋 に 行っ た
使用した辞書はIPADICです。この2つは声に出して日本語話者が聞いたところ同じ文ですが、...