0

Perlのプログラムを実行すると以下のエラー内容がでて困っております。
自分自身、Perlを使うのがはじめてで、非常にざっくりした質問内容になってしまいますが、
ヒントなどをご教示いただけると助かります。

プログラムの内容は以下のページからダウンロードできます。

京都大学テキストコーパス Version.4.0

エラーメッセージ

euc-jp "\xE7" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\x84" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\xA1" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\xBD" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\x99" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\xE9" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\x8C" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\x8A" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\x81" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\x93" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\xE3" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\x81" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\x9D" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\xE5" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\x84" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\x81" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\x97" does not map to Unicode at ./src/format.pl line 91.
euc-jp "\xE3" does not map to Unicode at ./src/format.pl line 91.
2
  • 1
    再現手順も投稿に含めて下さい。 euc-jpのファイルを読ませていますか?
    – BLUEPIXY
    Commented 2016年10月22日 16:04
  • エラーはここに掲載されている分だけですか?それとも似たようなエラーが延々と続きますか?
    – ernix
    Commented 2016年10月28日 13:26

2 件の回答 2

3

同様のエラーをUbuntu18.04LTSで発生させましたが,解決した方法を記述します.
1) CentOS 7系のサーバ上に KyotoCorpus4.0 と mai95.txt (SJIS) を移動
2) src/format.pl と src/dupli.pl を EUC-JP環境で最初の部分を下記のように書き換えます

format.pl

#use encoding 'euc-jp';
#use open IO => ':encoding(euc-jp)';
#binmode(STDERR, ':encoding(euc-jp)');
#binmode STDOUT, ':encoding(euc-jp)';
use encoding 'euc-jp', STDOUT => 'euc-jp';

また

dupli.pl
use encoding 'euc-jp', STDOUT => 'euc-jp';

これで auto_convを実行します. KytoCorpus4.0 ディレクトリで
sh auto_conv -d mai95.txtがあるディレクトリ
実行時にエラーが出なければOKです.

converting mai95.txt to SGML ...
making KyotoCorpus (syn) ...
converting 950101 ...
converting 950103 ...
..略..
converting 9501ED ...
converting 9502ED ...
converting 9503ED ...
..

KyotoCorpus は1月が全記事にアノテーションされていて価値が高いですが他の月も社説記事に対して情報が付与されているのと,NAIST Text Corpusを戻す際には

dat/num/{9501ED.org, 9502ED.org.. } 

など他の月のテキストデータが出力されている必要があり, EUC-JPでの処理ができていないと出力されず困ることになります.
Ubuntu18.04LTSでは成功していません.

0

このファイル自体がEUCで記述されていて、内部的にもEUCで動かすように想定されていますが、
「STDIN」に渡す文字コードがEUCではないのでしょう・・・。

動作環境がわかりませんが、全部UTF8にコンバートしてしまえばいいかも知れません。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。