5

文字列の処理で括弧が入れ子になっていた場合に一番外側の括弧だけ検出するにはどうすればいいでしょうか。

あいう「えお「か「き」く「け」こ」さし」すせそたち「つて」と

例えば上のような文字列から

「えお「か「き」く「け」こ」さし」
「つて」
の2箇所だけ抽出して前後に改行コードを追加したいのです。

text = "あいう「えお「か「き」く「け」こ」さし」すせそたち「つて」と"
regex = re.compile(r'(「([^「」]*「[^「」]*」[^「」]*)*[^「」]*」)')
text = re.sub(regex, r'\n\1\n', text)

上記のコードだと「か「き」く「け」こ」の前後、 「つて」の前後に改行コードが入ります。
2重の入れ子までなら対応できるのですが、3重、4重と入れ子が何重まであるか不明な場合でも対応できるようにしたいです。

python 3.5.1を使っています。


皆様の回答を受けまして、以下のような関数にまとめました。
「」だったり引用符だったりで囲われた部分を抜き出せるようになりました。

# 括弧の前後に改行を挿入(括弧が入れ子の場合は一番外側の括弧に対して適用)
def add_separator_before_and_after_brackets(text, width=10, separator_pre='\n', separator_post='\n'):
    import regex # 拡張正規表現のregexモジュール、標準モジュールのreとは別物なので注意

    # 括弧部分の長さがwidth以上だったら前後に改行を挿入
    def add_separator(match_obj):
        match_text = match_obj.group()
        if len(match_text) >= width:
            return '{}{}{}'.format(separator_pre, match_text, separator_post)
        else:
            return match_text

    rexp1 = regex.compile(r'(「(?>[^「」]+|(?R))*」)')
    rexp2 = regex.compile(r'(『(?>[^『』]+|(?R))*』)')
    rexp3 = regex.compile(r'(【(?>[^【】]+|(?R))*】)')
    rexp4 = regex.compile(r'(\((?>[^\(\)]+|(?R))*\))')
    rexp5 = regex.compile(r'(\[(?>[^\[\]]+|(?R))*\])')
    rexp6 = regex.compile(r'(“(?>[^“”]+|(?R))*”)')
    for rexp in [rexp1, rexp2, rexp3, rexp4, rexp5, rexp6]:
        text = rexp.sub(add_separator, text)
    return text
3
  • 1
    正規表現で解決したいですか? 正規表現でなくても良いですか?
    – nekketsuuu
    2017年2月25日 7:45
  • 1
    コメントに書いた補足を元の質問に追記しました。 できれば正規表現で解決したいです。
    – user20652
    2017年2月25日 8:37
  • ご参考までに:正規表現は魔法の万能ツールではありません。「Some people, when confronted with a problem, think “I know, I'll use regular expressions.” Now they have two problems./一つの問題に直面するとき、“そうだ。正規表現を使おう。”と考える人がいる。彼らは二つの問題に直面する。」という格言もお忘れなく。
    – yohjp
    2017年3月1日 2:51

3 件の回答 3

4

一番簡単なのは、括弧の数を数えるやり方だと思います。つまり、以下の方法です。

  • 括弧のネストのレベルを数える変数を1つ用意し、文字列の最初から1文字ずつ読んでいって、開き括弧があればレベルを+1、閉じ括弧があればレベルを-1にしていきます。
  • その途中で「レベルが0から1になったところ」から「レベルが1から0になったところ」までが一番外側の括弧に囲まれているところです。
  • どこかでレベルがマイナスの値になったら、括弧の対応が上手く取れていません。エラーです。

あるいは適当なパーザーを書いてもいいですが、本質的には似たようなことをするような気がします。


どうしても正規表現で解決したいということであれば、再帰表現の入った正規表現であれば使えます。Pythonではreの代わりにregexを使うと再帰を使えます。たとえば以下の正規表現が考えられます。

(?<rec>「(?:[^「」]+|(?&rec))*」)

この(拡張)正規表現を説明すると以下の通りです。

  • (?<rec> ...): この中身をrecという名前で覚えておく。
  • (?:[^「」]+|(?&rec)): 鍵括弧の無い文字列が続くか、rec自体にマッチする。
    • (?: ...)はマッチを確認するがキャプチャしないグループを示しています(参考)。
    • rec自体は "対応のとれた開き括弧から閉じ括弧までの文字列" を大体意味しているので、これで括弧の中に括弧があっても大丈夫になっています。

Takayukiさんの回答には(本質的には同じですが)よりコンパクトな正規表現が載っているのでこちらも参考になるかと思います。

また、正規表現を使った場合、もしかするとパフォーマンスに影響があるかもしれません。Pythonの正規表現エンジンの実装について私は詳しくないので、実際に試してみて影響があれば上に書いた単純な方法に変えた方が良いでしょう。

関連


ちなみに「括弧の入れ子対応が上手くとれているか」を 純粋な 正規表現でチェックすることはできません。
上手く対応がとれた括弧文字列たちの集合をダイク言語 (Dyck言語) と言うのですが、理論的に、これが正規言語でないことが知られているためです。

この点についてより詳しくは、Wikipediaの記事や、書籍『正規表現技術入門』などが参考になるのではないかと思います。

2
  • 詳しい解説までありがとうございます。 正規表現の方でやってみたいと思います。 re.sub(regex, my_func, text)みたいに、my_funcにマッチオブジェクトを投げて、マッチした部分の文字列が10文字以上だったら改行して、未満だったら改行しないで… みたいな追加の処理をしたいと考えています。 なので「」で囲まれた部分がバシッと抜き出せた方が都合がよくて。 ダイク言語についても勉強してみます。
    – user20652
    2017年2月25日 8:42
  • @papico ダイク言語は完全に理論的側面からのおまけ情報なので、とりあえずマッチしたいだけなら再帰マッチについて先に調べた方が良いか‌​もしれません。
    – nekketsuuu
    2017年2月25日 10:34
2

英語の質問に答がありました。
https://stackoverflow.com/questions/26385984/recursive-pattern-in-regex

再帰マッチを使うため、regexをインストール

(venv) > pip install regex
Collecting regex
  Downloading regex-2017.02.08-cp35-none-win_amd64.whl (242kB)
    100% |################################| 245kB 1.5MB/s
Installing collected packages: regex
Successfully installed regex-2017.2.8

実行

(venv) > python3
>>> import regex
>>> text = "あいう「えお「か「き」く「け」こ」さし」すせそたち「つて」と"
>>> f = regex.compile(r'「((?>[^「」]+|(?R))*)」')
>>> f.findall(text)
['えお「か「き」く「け」こ」さし', 'つて']
>>> print(f.sub(r'\n\1\n', text))
あいう
「えお「か「き」く「け」こ」さし」
すせそたち
「つて」
と
1
  • ありがとうございます。 意図したことが実現できそうです。 使い方が分からないとちょっと怖いのでregexのドキュメント読んできます。
    – user20652
    2017年2月25日 8:38
0

正規表現を使う事が条件となっていますが、参考までに別解などを。

文字列中の [ に、] に変更して、各文字の位置情報(index)のリストに変換します。次に、リスト内のリストのみを取り出して、そのリストの最初と最後の要素から目的の部分文字列を取り出します。

#!/usr/bin/python3

def parse(txt):
  lst = eval(
    str(sum(
      [
        ['[' + str(i+1)] if v == '「' else
        [str(i-1) + ']'] if v == '」' else
        [i] for (i, v) in enumerate(txt)
      ], [])).replace("'", '')
  )

  return [txt[l[0]:l[-1]+1] for l in lst if isinstance(l, list)]

##
text = [
  'あいう「えお「か「き」く「け」こ」さし」すせそたち「つて」と',
  '「」「]「「」」」 「あ「」」x_「「」い」+y「「う」」[%',
  '',
]

[print(parse(t)) for t in text]
## =>
## ['えお「か「き」く「け」こ」さし', 'つて']
## ['', ']「「」」', 'あ「」', '「」い', '「う」']
## []
7
  • textの中で括弧の対応がとれてない場合があるとすると、evalの中のstr()がRuntime errorを起こします。
    – nekketsuuu
    2017年2月25日 21:55
  • 1
    eval はセキュリティ的にちょっと怖いので、代わりに ast.literal_eval を使うのはどうでしょうか (参考)。
    – nekketsuuu
    2017年2月25日 21:55
  • 大丈夫だとは思いますが、str(some_list)list.__str__() 依存の挙動をするため、コンマの後に空白が来るかなどが心配です。string.join() を使って ",".join(some_list) のように書くのはどうでしょうか (参考12)。
    – nekketsuuu
    2017年2月25日 22:08
  • 補足:今回はPython3なのでおそらく大丈夫ですが、Python2の場合は u"あいうえお" のようにUnicodeで処理しないとマルチバイト文字が上手く扱えない気がします。
    – nekketsuuu
    2017年2月26日 1:06
  • 1
    ええと、実際に実行してもらえばお分かりになるかと思いますが、元のテキストに [] が含まれていても括弧(,)の対応関係に影響はありません。
    – user39889
    2017年2月26日 4:17

この質問に回答するには、ログインする必要があります。