7

macOS 上でこの 3 行のファイルを LC_COLLATE=ja_JP.UTF-8 でソートすると予期せぬ結果になります。

入力

なにわ男子の逆転男子
アニメ おじゃる丸
アニメ「烏は主を選ばない」

ソート結果

アニメ おじゃる丸
なにわ男子の逆転男子
アニメ「烏は主を選ばない」

アニメ というカタカナの prefix をもっている 2 行の間に、なにわというひらがなの行が入っています。

ロケールごとに文字列の比較の仕方が異なるというのはわかるのですが「sort コマンドが行頭以外も比較してソートする」という理解で正しいのでしょうか?

デバッグログをつけて実行

$ LC_ALL=ja_JP.UTF-8 sort --debug --ignore-nonprinting <<__TXT__
なにわ男子の逆転男子
アニメ おじゃる丸
アニメ「烏は主を選ばない」
__TXT__
Memory to be used for sorting: 12884901888
Number of CPUs: 8
Using collate rules of ja_JP.UTF-8 locale
sort_method=mergesort
; k1=<なにわ男子の逆転男子>(10), k2=<アニメ おじゃる丸>(9); s1=<なにわ男子の逆転男子>, s2=<アニメ おじゃる丸>; cmp1=224
; k1=<なにわ男子の逆転男子>(10), k2=<アニメ「烏は主を選ばない」>(13); s1=<なにわ男子の逆転男子>, s2=<アニメ「烏は主を選ばない」>; cmp1=-12394

もちろんログを出しても結果は前述の通りです。

環境

macOS に組み込みの sort コマンドで実行しています。

$ sw_vers
ProductName:            macOS
ProductVersion:         14.5
BuildVersion:           23F79
$ sort --version
2.3-Apple (165.100.8)
$ locale
LANG="ja_JP.UTF-8"
LC_COLLATE="ja_JP.UTF-8"
LC_CTYPE="ja_JP.UTF-8"
LC_MESSAGES="ja_JP.UTF-8"
LC_MONETARY="ja_JP.UTF-8"
LC_NUMERIC="ja_JP.UTF-8"
LC_TIME="ja_JP.UTF-8"
LC_ALL=

もちろん LC_COLLATE=C とすると再現しません。
また、Linux 上で sort コマンドを発行した場合も再現しませんでした。

2
  • 2
    この記事 The macOS LC_COLLATE hunt が参考になるかもしれません。
    – metropolis
    Commented 9月2日 9:15
  • なお、Ubuntu 24.04/sort 9.4(GNU coreutils) 上で LC_COLLATEen_US.UTF-8 に設定して上記のソートを実行すると、macos と同じ結果になります。
    – metropolis
    Commented 9月2日 9:25

1 件の回答 1

10

コメントにあるThe macOS LC_COLLATE huntを参考に、Sonomaのmacを実際に確認すると

% ls -l /usr/share/locale/ja_JP.UTF-8/LC_COLLATE
lrwxr-xr-x 1 root wheel 28 Aug  4 19:31 /usr/share/locale/ja_JP.UTF-8/LC_COLLATE@ -> ../la_LN.US-ASCII/LC_COLLATE

となっていて、なんと ラテン語 US-ASCII にシンボリックリンクされてました。

結果から逆算して想像すると、ASCII範囲以外の文字がすべて等価になっていて、sort処理が単に"長さ順"になっているのだろうと考えます。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。