Perlのプログラムにて、あるファイルがプレーンテキストのみで書かれていることを
正規表現で判別したいのですが、どのようにパターンを書けば実現出来るか悩んでいます。
Linuxのfileコマンドでテキスト/バイナリの識別ができますが、
そのようなことを正規表現で書けるものでしょうか。
-
1プレーンテキストの条件は何でしょうか?例えば特定の文字エンコーディングで書かれたテキストファイルをプレーンテキストとするなら、バイト列の出現順が決まるので割とすぐ書けそうな気がします。– madapajaCommented 2015年1月25日 10:37
-
ありがとうございます。 エンコーディングでいうとSjisまたはUTF8のファイルを「プレーンテキスト」と判定し、それ以外は「バイナリまたは不明なファイル」とできればOKです。– WoodyCommented 2015年1月25日 10:50
3 件の回答
正規表現でやらずにバイナリデータとしてShift_JISとUTF-8を同時に判定したほうが良いはと思いますが、一応正規表現の形でShift-JISの判定法を書きます。
Shift_JISはシングルバイトが00-7F,A0-DF
で2バイト文字が80-9F
と40-7E,80-FC
というルールがあるのでバイトを分類すると
- SB:
[\x00-\x3F\x7F]
- SB/MB2:
[\x40-\x7E\xA0-\xDF]
- MB1/MB2:
[\x80-\x9F]
- MB2:
[\xE0-\xFC]
- 未使用:
[\xFD-\xFF]
となります。(SB=シングルバイト、MBn=マルチバイトのn文字目)
状態遷移はSB→MB2、MB2→MB2が禁止されているので結局(未使用|[^MB1/MB2][MB2])
となって
([\xFD-\xFF]|[^\x80-\x9F][\xE0-\xFC])
がNGとなるパターンですかねえ。なお文字列が2バイト文字の1バイト目で切れているパターンは考慮していないです。
UTF-8は11******
がマルチバイトの先頭で、上位ビットの1がn連続であればn-1個10******
というバイトが続きます(2≦n≦6)。つまりC0以上のバイトを5通りに分類して後ろに80-BFのバイトが所定の個数並んでいるかを調べればいいです。例えばn=3なら[\xE0-\xEF]([^\x80-\xBF]|[\x80-\xBF][^\x80-\xBF]|[\x80-\xBF]{3})
がNGです。
実用性は無いので正規表現を使わずに同様のチェックを行ったほうが良いです。
「プレーンテキスト」の定義が「表示可能な文字データだけを含む」であるとするならば、\p{Print}
で充分かもしれません。Print
が何者かはマニュアル perluniprops
(1) を参照のこと。
例えば入力の文字エンコーディングが UTF-8 とするなら、次のようになります。
$ perl -MEncode -e '$/=""; $i=<>; eval { $i=Encode::decode("UTF-8", $i, Encode::FB_CROAK); }; print(((!$@ && $i!~/[^\p{Print}\t\n]/) ? "Text" : "Binary"), "\n")' /etc/passwd
Text
$ perl -MEncode -e '$/=""; $i=<>; eval { $i=Encode::decode("UTF-8", $i, Encode::FB_CROAK); }; print(((!$@ && $i!~/[^\p{Print}\t\n]/) ? "Text" : "Binary"), "\n")' /bin/ls
Binary
評価対象の変数の UTF8 フラグを立ること (perlunitut
(1) や Encode
モジュールのマニュアル (perldoc Encode
を実行すると読めます) を参照)、改行コードとタブもテキストと識別したいなら正規表現の文字クラスに \t\n
を含める点が重要です。\r
も含めることも検討してください。
入力が Shift_JIS ならば Encode::decode
の第一引数を調整してください。
$ perl -MEncode -e '$/=""; $i=<>; eval { $i=Encode::decode("Shift_JIS", $i, Encode::FB_CROAK); }; print(((!$@ && $i!~/[^\p{Print}\t\n]/) ? "Text" : "Binary"), "\n")' sjis.txt
Text
直接正規表現を使う必要はありません。
というか、デコードされていないバイト文字列に正規表現を直接ひっかけるのは労多くして功少なしです。
そのかわり、Encode::Guess
で代用するのはどうでしょうか?
プレーンテキストはバイナリの集まりで構成されています。
ですので、本来プレーンテキストとバイナリの間に明確な区別はありません。
プレーンテキストはあくまで人間の目がバイト列をそのように認識しているだけです。
Shift_JISには使用されないバイト列のパターンも存在しますから、
それを運良く拾ってこれるなら「Shift_JISではない」と言うことはできます。
もちろんLinuxのfileコマンドも例外ではありません。
perlfaq6 - マルチバイト文字を含む文字列をマッチングさせるには?
http://perldoc.jp/docs/perl/5.14.1/perlfaq6.pod#How32can32I32match32strings32with32multibyte32characters63
プレーンテキストかバイナリかを機械的に見分けるには、結局統計判断に頼ることになります。
もしプレーンテキストというのがasciiまたはutf8だけを指しているのであれば、ファイルをopen
するまでもなく-T
ファイルテストを利用できます。
$ perl -E 'say "TEXT" if -T "utf8.txt";'
-T ファイルは ASCII または UTF-8 テキストファイル (発見的に推測します)。
http://perldoc.jp/func/-X
標準入力にfind(1)
やls(1)
を使いたい場合はこんな感じでもOKです。
$ ls | perl -nlE 'say $_ if -T;'
Shift_JISも含めるとなると、いよいよファイルをopen
する必要があります。
事前にプレーンテキストの条件としてShift_JIS
でいいのか再度確認して下さい。
歴史的な経緯もあって、一般にはShift_JIS
と呼ばれていても実際はWindows-31j (cp932)
を指している場合があります。㈱
やⅢ
を文字とみなし、かつIBM拡張文字等も気にしなくて良いのであれば、cp932
で見るのが良さそうです。
$ ls | perl -MEncode::Guess -nlE 'open $fh, "<", $_; say $_ if ref guess_encoding(do { local $/; <$fh> }, qw/utf8 cp932/);'