0

全文検索用にユーザー様がキーワードをGoogle検索のように、1つや、複数入力した場合、各キーワードを分割する方法を探しています。

半角及び全角スペースで区切られた下記の様な文字列を分割したいのですが、
正規表現がわかりません。

分割条件

  1. 半角、全角、スペース区切り。
  2. 但し、ダブルクォーテーションで括られている文字列は中にスペースやタブなどの特殊文字が入っていても一つの文字列として扱う。
    従って、
    『ABC あいう"え "" おか きく"けこ -"おはよう"』を分割すると、
    『ABC』
    『あいう"え "" おか きく"けこ』 ← 途中に ""があるが、" "と間にスペースがないので連続した文字列と判断。
    『 -"おはよう"』
    の3つになります。

元の文字列の例

 きた A+!^"*-= " P" 雨 "" 雪 "   "み  ず た に"    abc 時間123-"門`限"  "やぶるな

Java文字列リテラル表現では:

String moto = " きた A+!^\"*-= \" P\" 雨 \"\" 雪 \"   \"み  ず た    に\"    abc 時間123-\"門`限\"  \"やぶるな";

分割後の各文字列

  • きた
  • A+!^"*-= "
  • P" 雨 "" 雪 "
  • "み  ず た に"
  • abc
  • 時間123-"門限"
  • "やぶるな ←わざと最後のダブルクォーテーションを外してあります。

下記正規表現でできる?かもしれませんが、このコードをJAVAへ記述すると、
実行以前の問題で、eclipsで記述文字列が正しくないエラーで赤く指摘状態になります。
(恐らく\を追加したりしてエスケープ処理をしないといけないのですが、\/"の前にいくつ追加しても、文字列が正しくないというエラーで赤く指摘状態になります。)

Pattern p = Pattern.compile("\s+("(?:"|[^"])*"?|[^"]\S*)");
String[] result = p.split(moto);
for (int i=0; i<result.length; i++){
    System.out.println("[" + result[i] + "]");
}

質問 1

正規表現は、正しいでしょうか?

質問 2

Javaに記述するには、\を追加などして、どのように記述すれば、Eclipseが文字列が不正というエラーをださなくなるでしょうか?

やった見ている多数のパターンの一例ですが、

Pattern p = Pattern.compile("\\s+(\"(?:\"|[^\"])*\"?|[^\"]\S*)");

下記の様に \ を入れたところ、eclipsで赤文字で、文字列エラーがなくなりました。

String[] result = test.split("\\s+(\"(?:\"|[^\"])*\"?|[^\"]\\S*)");
for (int i=0; i<result.length; i++){
    out.print("[" + result[i] + "]");
}

但し、正規表現が悪いようで、下記の様に分割できませんでした。
test = "雨 "み ず"";
 ↓ 分割後
[雨 "み ず"]

7
  • コードを記載する際はコードを選択し、{}のボタンを押すことでコードブロックが作成されます。
    – user10259
    Commented 2016年9月1日 0:49
  • String[] result = test.split("\\s+(\"(?:\"|[^\"])*\"?|[^\"]\\S*)"); for (int i=0; i<result.length; i++){ out.print("[" + result[i] + "]"); } Commented 2016年9月1日 2:33
  • 「み」と「ず」の間には全角スペースが入っていますが、それがなければ、単純に moto.split("□+") でできそうな気もしますが。。(□は全角スペース)
    – webarata3
    Commented 2016年9月1日 8:44
  • 7
    もう少し詳細に仕様を説明していただかないと、なぜP" 雨 "" 雪 "が1区切りで取得できるのかわからないですね…
    – harry0000
    Commented 2016年9月1日 9:19
  • 5
    冒頭に「半角及び全角スペースで区切られた」と書かれていますが、一方で分割条件に「半角スペース区切り」とあり、全角スペースをどう扱いたいのかが不明確であると感じました。また、P" 雨 "" 雪 "を一つの文字列としてみなすルールであれば、それより前に登場するA+!^"*-=  P"が一つの文字列になりそうに思えたのですが、なぜそうならないのかも考えつきませんでした。 Commented 2016年9月2日 3:38

3 件の回答 3

3

ほぼ解決策が見えてきているときに別解もなんなんですが、その仕様(正解は、[A+!^"*-= P"])ならば、正規表現でも実現できますよということで。

    String moto = " きた A+!^\"*-= P\" 雨 \"\" 雪 \" \"み ず た に\" abc 時間123-\"門`限\" \"やぶるな";
    Pattern p = Pattern.compile("((?:[^\\s \"\\\\]|\\\\.|\"(?:\\\\.|[^\\\\\"])*(?:\"|$))+)");
    Matcher m = p.matcher(moto);
    while( m.find() ) {
        System.out.println("["+m.group(1)+"]");
    }

出力:

[きた]
[A+!^"*-= P"]
[雨]
[""]
[雪]
[" "み]
[ず]
[た]
[に" abc 時間123-"門`限" "やぶるな]

質問文にある期待結果と随分違う結果に見えますが、最初のA+!^"*-=A+!^"*-= P"になって、"で挟まれる範囲が交互になることを考えると、★分割条件 に従えばこの結果になるはずです。

アイデアとしては

  • 「空白と", \」以外の文字
  • \+一文字
  • "から「"または文字列末」まで

をひとかたまりと考えて、最長一致(正規表現のデフォルト)でそのかたまりの連続を抜き出す、というものです。

お時間が取れるようでしたら、是非お試しください。

(少し前に書いたコードですが、「動作が違う」と言われたらどこを直すのか、かなり悩んでしまいそうです。やはりこの辺の処理はわかりやすさ優先にした方が良いかもしれません。)

4
  • バックスラッシュの処理をなくすだけでもだいぶスッキリしそうですね
    – unarist
    Commented 2016年9月6日 10:48
  • @unarist さん、そうですね。たいしたことはやっていないんですが、あちこちに\\\\なんて出てくると非常に読みづらくなってしまいます。C#なら@""を使えば多少はマシになるんですが、Javaにはそんな記法が入る予定はないんでしょうか?
    – OOPer
    Commented 2016年9月6日 11:05
  • ああいや、結局今回は入力文字列中の \ や \+一文字を特別視する必要なかったですね、という。。
    – unarist
    Commented 2016年9月6日 11:17
  • @unarist さん、重ねてのご指摘を受けてようやく今気がつきました。Java表現と元の文字列そのものを行ったり来たりしているうちに(元文字列としての)\"の処理が必須であるかのように感じてしまっていました。もう一度正規表現と格闘する元気はないので、スッキリさせた回答のご提示はお任せしたいと思います。
    – OOPer
    Commented 2016年9月6日 11:27
2

正規表現だと難しそうですね。
意図とあっているかわからないですが、こんな感じですかね?

import java.util.Iterator;

public class Tokenizer implements Iterator<String> {

    private static final char DELIMITER_SPACE = ' ';
    private static final char DELIMITER_SPACE_JP = ' ';
    private static final char DELIMITER_DOUBLE_QUOTE = '"';

    private String nextToken;
    private String target;
    private Character delimiter = null;

    private int pos = 0;
    private int start = 0;

    public Tokenizer(String target) {
        this.target = target;
        this.nextToken = getNextToken();
    }

    @Override
    public boolean hasNext() {
        return nextToken != null;
    }

    @Override
    public String next() {
        String next = this.nextToken;
        this.nextToken = getNextToken();
        return next;
    }

    @Override
    public void remove() {
        throw new UnsupportedOperationException();
    }

    private String getNextToken() {
        int size = target.length();
        while (pos < size) {
            char c = target.charAt(pos);
            pos++;
            int length = pos - start;
            if (isDelimitor(c, delimiter)) {
                if (length > 1) {
                    boolean isDoubleQuote = isDoubleQuote(delimiter);
                    String token = getToken(isDoubleQuote, start, length, false);
                    if (isDoubleQuote) {
                        delimiter = null;
                    }
                    start = pos;
                    return token;

                } else {
                    delimiter = c;
                    start = pos;
                }

            } else if (c == DELIMITER_DOUBLE_QUOTE && length <= 1) {
                delimiter = c;
                start = pos;

            } else if ((c == DELIMITER_SPACE || c == DELIMITER_SPACE_JP) && length <= 1) {
                if (delimiter == null || delimiter != DELIMITER_DOUBLE_QUOTE) {
                    delimiter = c;
                    start = pos;
                }
            }
        }

        int length = pos - start;
        if (length > 0) {
            String token = getToken(isDoubleQuote(delimiter), start, length, true);
            start = pos;
            return token;
        }
        return null;
    }

    private boolean isDoubleQuote(Character delimiter) {
        return delimiter != null && delimiter == DELIMITER_DOUBLE_QUOTE;
    }

    private boolean isDelimitor(char c, Character delimiter) {
        if (delimiter == null) {
            return c == DELIMITER_SPACE || c == DELIMITER_SPACE_JP || c == DELIMITER_DOUBLE_QUOTE;
        } else {
            return c == delimiter;
        }
    }

    private String getToken(boolean isDoubleQuote, int start, int length, boolean isLast) {
        if (isDoubleQuote) {
            return target.substring(start - 1, start + length);
        } else {
            return target.substring(start, start + length - (isLast ? 0 : 1));
        }
    }
}

こうやって使って下さい。

String moto = " きた A+!^\"*-=  P\" 雨 \"\" 雪 \"   \"み  ず た    に\"    abc 時間123-\"門`限\"  \"やぶるな";
Tokenizer tokenizer = new Tokenizer(moto);
while(tokenizer.hasNext()) {
    System.out.println("[" + tokenizer.next() + "]");
}

結果

[きた]
[A+!^"*-=]
[P" 雨 "" 雪 "]
["み  ず た に"]
[abc]
[時間123-"門`限"]
["やぶるな]



UPDATE1

プログラムの意図としては以下のようなものです。

  • 半角スペース、全角スペース、ダブルクォーテーションで区切る。
  • 左から右へ文字列を走査して区切る。
  • ある文字で区切ったら、次に同じ文字が出てくるまで区切らない。
    例)半角スペースで区切ったら、次に半角スペースが現れるところまで一つの文字列にする。
  • ただし、文字列の終わりまで走査して、同じ区切り文字が出てこなくても、一つの文字列とする。
  • ダブルコーテーションは結果の文字列の入れる。

UPDATE2

String moto = " きた A+!^\"*-= P\" 雨 \"\" 雪 \" \"み ず た に\" abc 時間123-\"門`限\" \"やぶるな";

でプログラムを実行すると次のような結果になります。

[きた]
[A+!^"*-=]
[P"]
[雨]
[" 雪 "]
["み ず た に"]
[abc]
[時間123-"門`限"]
["やぶるな]

17
  • ご回答ありがとうございます。はい、意図した仕様通りの結果です(スペース区切り、但し、ダブルクォーテーションで括られている場合はダブルクォーテーションも含めて連続した一つの文字列とする)。今から、実装し、各種パターンで確認致します。お手数をお掛け致しました。ありがとうございました。 Commented 2016年9月5日 11:02
  • 現在、「new Tokenizer(moto);」、「next」、「hasNext」が、呼び出し側で、未定義エラーとなる問題で詰まっていますが、何とかしてみます。 Commented 2016年9月5日 11:39
  • 回答にプログラムの意図を追加しました。javaコードのほうは、ぱっと書いた感じなのでクリティカルなプログラムに入れるようでしたら、しっかりと精査してくださいませ。
    – nshmura
    Commented 2016年9月5日 12:07
  • @技術オーバーフロー 例えばこのロジックだと a"b c" が2つに分割され、 a b が全く分割されませんが、それでよいのでしょうか?
    – unarist
    Commented 2016年9月5日 15:28
  • はい、a"b c"は、一つの文字でつながっています(間のスペースは、ダブルクォーテーションで括られているので一つの文字列です)。 Commented 2016年9月6日 0:45
2

正規表現

Le Pere d'OOさんの回答から\の処理を抜いたものです。

import java.util.regex.*;

public class Main{
    public static void main(String[] args){
        String moto = " きた A+!^\"*-= \" P\" 雨 \"\" 雪 \"   \"み  ず た    に\"    abc 時間123-\"門`限\"  \"やぶるな";

        Pattern p = Pattern.compile("((?:[^\\s \"]|\"[^\"]*(?:\"|$))+)");
        Matcher m = p.matcher(moto);

        while(m.find()){
            System.out.println("[" + m.group(1) + "]");
        }
    }
}

((?:[^\\s \"]|\"[^\"]*(?:\"|$))+) という正規表現は若干読み辛いかと思いますが、インデントを付けたり、

    Pattern p = Pattern.compile(
            "(" +
                "(?:" +
                    "[^\\s \"]|" +
                    "\"[^\"]*(?:\"|$)" +
                ")+" +
            ")"
            );

部分ごとに名前を付けて構築したり、

    // 通常文字:   空白、全角スペース、ダブルクォート以外の文字
    String nomal_char = "[^\\s \"]";

    // クオートされた文字列:   ダブルクォートか行末に挟まれた、0文字以上の文字列
    String quoted_str = "\"[^\"]*(?:\"|$)";

    // トークン:   通常文字かクォートされた文字列、一つ以上
    String token = "(?:" + nomal_char + "|" + quoted_str + ")+";

    // トークンにマッチした部分はグループとして記憶させる
    Pattern p = Pattern.compile("(" + token + ")");

対処法はあります。

似たケース

クォートを考慮して文字列を分割したい、という需要は多いですから、検索すると色々と出て来ます。

https://stackoverflow.com/a/7804472/4368502
https://stackoverflow.com/a/3366634/4368502

クォート位置でも分割される、という点で今回とは少し違いますが参考にして下さい。
Google検索の動作にはこれらの方が近そうです。
質問の仕様はGoogle検索の入力欄よりも、シェル(sh, bashなど)のクォートに近いですね。

正規表現不使用

もしかしたら正規表現より簡潔になるかも、と思い書いてみましたが、そんな分けは無くやはり長くなってしまいました。
解り易く拡張性を持たせて書けばもっと長くなりそうです。
長いのが悪いとも思いませんが、これ位であれば、やはり正規表現を使ってよいのではないでしょうか。

public class Main{
    public static void main(String[] args){
        String moto = " きた A+!^\"*-= \" P\" 雨 \"\" 雪 \"   \"み  ず た    に\"    abc 時間123-\"門`限\"  \"やぶるな";

        State state = State.DELIMITER;
        for(int i=0, start=0, length=moto.length(); i < length; i++){
            // 区切り文字:
            //  スペース、タブ、全角スペース、改行、用紙送り、
            //  キャリッジ・リターン、垂直タブ
            final String delimiters = " \t \n\f\r\u000b";
            final String c = moto.substring(i, i+1);

            if(delimiters.contains(c)){
                if(state == State.UNQUOTED){
                    out(moto.substring(start, i));
                    state = State.DELIMITER;
                }
            }
            else{
                if(state == State.DELIMITER){
                    start = i;
                    state = State.UNQUOTED;
                }

                if(c.equals("\"")){
                    state = (state == State.QUOTED) ?
                        State.UNQUOTED : State.QUOTED;
                }
            }

            if(i == length-1 && state != State.DELIMITER){
                out(moto.substring(start, i+1));
            }
        }
    }


    private enum State { DELIMITER, QUOTED, UNQUOTED }

    private static void out(String s){
        if(s.length() == 0){ return; }
        System.out.println("[" + s + "]");
    }
}

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。