8

日本語を含む文字列から正規表現を使って抽出をしたいのですが、上手くいかなくて困っています。

ライブラリはregex-pcreを使っています。
Stringではマッチする部分がずれるのか、マッチの結果の2つ目に何も入っていません。
ByteStringではマッチする部分は取れているようなのですが、日本語のデータが抜け落ちてしまいます。

import Text.Regex.PCRE
"123あいうえお456かきくけこ" =~ "(\\d+)(\\D+)" :: [[String]]
--[["123\12354\12356\12358\12360\12362\&456\12363\12365\12367\12369\12371","123","\12354\12356\12358\12360\12362\&456\12363\12365\12367\12369\12371"],["","",""]]
import Data.ByteString.Lazy.Char8 as B
B.pack "123あいうえお456かきくけこ" =~ "(\\d+)(\\D+)" :: [[B.ByteString]]
-- [["123BDFHJ","123","BDFHJ"],["456KMOQS","456","KMOQS"]]

また、compUTF8というオプションがあったので試してみたのですが

let reg = makeRegexOpts compUTF8 defaultExecOpt "(\\d+)(\\D+)"
matchAllText reg "123あいうえお456かきくけこ"
-- [array (0,2) [(0,("123\12354\12356\12358\12360\12362\&456\12363\12365\12367\12369\12371",(0,18))),(1,("123",(0,3))),(2,("\12354\12356\12358\12360\12362\&456\12363\12365\12367\12369\12371",(3,15)))],array (0,2) [(0,("",(18,18))),(1,("",(18,3))),(2,("",(21,15)))]]

となり、同様の結果のようです。

環境はUbuntu14.04($LANG=ja_JP.UTF-8)、stack0.1.5.0(ghc-7.10.2、lts-3.6)です

どうにかして日本語を含むStringかByteStringから正しくマッチさせて抽出することはできないでしょうか?
よろしくお願いします。

4
  • 2
    ByteStringの方は、Data.ByteString.Lazy.Char8を使ってStringByteStringに変換しているのが原因ではないでしょうか。Char8は文字通り下位8ビットのみをWord8に変換します。例えば、utf8-stringパッケージの、Data.ByteString.Lazy.UTF8fromStringを使って、正しいUTF-8のバイト列に変換すれば、正しくマッチしたと思います。
    – snak
    Commented 2015年10月13日 1:01
  • コメントありがとうございます。utf8-stringを使ってみたのですが、putStrLn . toString . head . head $ (fromString "123あいうえお456かきくけこ" =~ "\\d+(\\D\\D)"の時に123�という出力になり、うまくいかないようです。\\D+とすると正しく抽出できるようなので、こちらも今回使う上では問題なさそうです。 Commented 2015年10月13日 9:45
  • 1
    compUTF8を指定して正規表現をコンパイルすると、\\D\\Dで問題なくマッチするように見えます。
    – snak
    Commented 2015年10月14日 8:16
  • compUTF8を付けると正しくマッチ、抽出することができました。ありがとうございます。 Commented 2015年10月14日 11:56

1 件の回答 1

6

以下のウェブページを参照しますと、どうやら regex-pcre パッケージのバグの様です。

  [Haskell-cafe] regex-pcre is not working with UTF-8

このページの最後の方にあるパッチを適用してビルド・インストールしたところ、想定通りに動作する様になりました。

$ ghci

> import Text.Regex.PCRE

> let str = "123あいうえお456かきくけこ" :: String
> let regex = "(\\d+)(\\D+)(\\d+)(\\D+)" :: String
> let matches = str =~ regex :: MatchResult String

> putStrLn $ (mrSubList matches)!!0
=> 123
> putStrLn $ (mrSubList matches)!!1
=> あいうえお
> putStrLn $ (mrSubList matches)!!2
=> 456
> putStrLn $ (mrSubList matches)!!3
=> かきくけこ

※ 結果が分かりやすい様に正規表現を変更しています

既にご存知かもしれませんが、以下のページに regex-pcre や regex-posix の使用例が記載されています(今回の件では随分と参考になりました)。

  haskell-regexp-examples/RegexExamples.hs

2
  • 1
    ご回答ありがとうございます。パッチをあてて色々試していたのですが、putStrLn $ ("123あいうえお" =~ "\\d+(\\D\\D)" :: String) -- 数字に続く非数字2文字が欲しい時を実行すると123あという結果となりました。[[String]]としてマッチさせると正しい結果になるので今回使う上では問題ないのですが、気になったのでコメントとしてお伝えします。 Commented 2015年10月13日 9:36
  • @techno_tanoC ありがとうございます。このパッチもまだ不完全な様ですね…。
    – user9156
    Commented 2015年10月13日 9:43

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。