0

日本語自然言語処理に興味を持つ中国の大学生です。最近は日本語音声合成システムに没頭しています。でも今はテキスト正規化という問題があって困っています。このリポジトリを見つけて試してみたんだけど、結果はあんまり良くないみたいです。

例えば、「good night」はカタカナに変換したい場合、「グッドナイト」が出力されるはずだが、上記のリポジトリのスクリプトを使うと、「グドナイト」となります。他の色々のケースを試した結果、さすがにパフォーマンスはイマイチですね。

助けてください!

7
  • 「正規化」という処理は同じ名前の違う処理が色々と知られているため、どのような処理が必要なのか詳しく知りたいです。何か参考にされている「正規化」の定義はありますか?
    – nekketsuuu
    Commented 2023年7月31日 7:04
  • コメントありがとう!ここで「テキスト正規化」は日本語音声合成のための前処理の一つで、テキストを正規の形式または標準形式に変換するプロセスです。例えば数字や番号を仮名に変換する、つまり読みをつけるということです。私は今英語などの外来語をカタカナに変換したいつもりです。つまりloanword to kanaということになります。
    – Sophiefy
    Commented 2023年7月31日 8:32
  • 貴方のやりたい事とマッチしているかどうかは怪しいですが、「校正」とか英語等で言う「スペルチェック」といった概念が近いのでは? 例えばこんな記事やそこから関連・派生したものが参考になるかも。【2023年版】校正支援ツールおすすめ7選を徹底比較!(無料あり), Enno.jp: 日本語文章のタイポ・変換ミス・誤字・脱字・エラーをチェック・校正
    – kunif
    Commented 2023年7月31日 8:38
  • コメントありがとう!日本語が苦手で説明が曖昧でごめん。私はやりたいことは英語を仮名に変換するのです。例えば「merry christmas」を「メリークリスマス」に。
    – Sophiefy
    Commented 2023年7月31日 8:44
  • 2
    そういう説明だと、要点は英単語とそのカナ読み訳の対比が正しいかどうかのチェックであって、「テキスト正規化」という言葉から連想される動作とは違うような気がします。また英語話者の発音に極力近いカナ表記か、日本人がその英単語から思い起こすローマ字読み的カナ表記のどちらか、といった考え方の選択も必要になると思われます。
    – kunif
    Commented 2023年7月31日 8:59

1 件の回答 1

0

自分でちょっと調べたんですけど、Sudachi という形態素解析器を見つけました。
英語を仮名に変換することができます。

Python バインディングの SudachiPy を使った例:

tokenizer_obj.tokenize("SUMMER", mode)[0].normalized_form()
# => 'サマー'

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。