Skip to main content

すべての質問

でタグ付けされた
絞り込み
並べ替え
タグ付けされた
0
1 回答
100 閲覧数

MeCabで二つ以上のAlphabet記号をグルーピングしたい

MeCabのchar.defは未知語処理のルールを定義します。その中、Alphabet記号のグルーピング方法も書かれています。私の理解が正しいのなら、その意味は「いつもAlphabet記号が連鎖する」です。 # CATEGORY_NAME INVOKE GROUP LENGTH ALPHA 1 1 0 でも、実際にやってみると、記号の数が少ない場合(2〜4)、...
Sophiefy's user avatar
3
2 回答
379 閲覧数

OpenJTalkの辞書エントリのフォーマットがよくわかりません

日本語自然言語処理に興味を持つ中国の大学生です。最近はopenjtalkでg2pを行なっています。デフォルトのnaist-jdicに登録された単語は少ないので、ユーザー辞書を構造したいと考えています。でもこのnaist-jdicのエントリを見てみると、一般のMeCabスタイルのエントリとはちょっと違って、2項目の余計な情報が追加されています。 具体的に、一般のMeCab辞書のエントリは以下ように。 ...
Sophiefy's user avatar
0
1 回答
131 閲覧数

tsvファイルに書かれている文章を分かち書きし、文章ごとに単語を入れ子構造リストとして格納したい

tsvファイルを読み込み、IDと単語を各行ごとに紐づけて分かち書きをしました。 このうち、単語のみを文章ごとにリストに格納するコードが分かりません。 したいアウトプットの形としては[['単語','単語'],['単語'.....]...] という形です。 どなたかコードのご教授お願い致します。 from gensim.models.doc2vec import Doc2Vec from ...
jumpei manai's user avatar
0
2 回答
669 閲覧数

tsvファイルを分かち書きし、特定の品詞を基本形で出力したい

tsvファイルをmecabを用いて分かち書きを行い、名詞・形容詞・動詞のみを基本形でリスト化したいです。 tsvファイルを読み込み、mecabを用いて分かち書きし、ストップワードを除外するコード/名詞・形容詞・動詞のみを基本形で分かち書きするコードはそれぞれあるのですが、2つを組み合わせる方法が分かりません。 どなたかご教授いただけると幸いです。 使用環境 jupyternotebook ...
jumpei manai's user avatar
1
1 回答
419 閲覧数

長めの固有名詞が分割されてしまう

分かち書きや形態素解析をする際、長めの固有名詞が2つに分割されてしまいます。 例)外国人 → 外国 / 人 これらをくっつけて出力する方法はありますでしょうか。 ユーザー辞書などに追加するしかないのでしょうか。 できればですが、基本的なMecabを使った以下のコードから改変したいです。 *コード* import MeCab m = MeCab.Tagger ("-Owakati") print(...
user avatar
1
0 回答
246 閲覧数

MeCabで短単位かつ最新の語彙が収録された辞書を使う方法

お世話になっております。 MeCabには多数の辞書がありますが、IPADICとUniDicは長い間メンテナンスされていません。また人手によってチェックされている面もあるので、語彙数は多くありません。 NEologdは今でも週に2回更新されていて語彙数はとても多いのですが、私の用途では分割が長すぎて不適なケースがあります。 「国立オリンピック記念青少年総合センター」...
Keisuke Ueda's user avatar
12
1 回答
1,123 閲覧数

日本語のステミング(「よい」と「良い」が同じであるか判定する)方法

お世話になっております。 日本語の文章を分割する際にMeCabを使っています。ここで非常によく似た2つの文を入力します。 私たちは寿司屋に行った 私達はすし屋に行った 結果 私 たち は 寿司 屋 に 行っ た 私 達 は すし 屋 に 行っ た 使用した辞書はIPADICです。この2つは声に出して日本語話者が聞いたところ同じ文ですが、...
Keisuke Ueda's user avatar