6

TwitterのデータのようにJSON形式で取得されたものは、日本語などマルチバイト文字がすべて"\uHHHH"のようなユニコードの16進表現でエンコードされています。
これをOS Xの標準環境、できればシェルスクリプトで配りたいのですが、この制約の中で出来る良い方法がないか探しています。

当初は、 http://qiita.com/kumazo@github/items/39500f259500a424800b
を参考にして挑戦したのですが、 /usr/bin/printf でもデコードできませんでした。

6 件の回答 6

9

https://stackoverflow.com/questions/6319421/do-all-mac-os-x-10-6-installations-have-perl-installed-by-default

を読むにOSXでは、perlが使えると思いますので、

https://stackoverflow.com/questions/8795702/how-to-convert-uxxxx-unicode-to-utf-8-using-console-tools-in-nix

の中段にある

#!/usr/bin/perl

use strict;
use warnings;

binmode(STDOUT, ':utf8');

while (<>) {
    s/\\u([0-9a-fA-F]{4})/chr(hex($1))/eg;
    print;
}

https://stackoverflow.com/a/8796595/718426

が使えるんじゃないかなと思うのですが、いかがでしょう。

7
  • なるほど、OS X標準で出来ますね!
    – Kenji
    Commented 2014年12月2日 2:21
  • 1
    echo '\u30e6\u30cb\u30b3\u30fc\u30c9' | perl -ne 'use strict;use warnings;binmode(STDOUT, ":utf8");s/\\u([0-9a-fA-F]{4})/chr(hex($1))/eg;print;'
    – mutuki
    Commented 2014年12月2日 8:43
  • 1
    ↑こんなかんじで正しく出せました。
    – mutuki
    Commented 2014年12月2日 9:03
  • 1
    perl -Xpne 's/\\u([0-9a-fA-F]{4})/chr(hex($1))/eg' 短く書くとこんな感じにも Commented 2014年12月2日 14:56
  • 1
    @mutuki 文字列分割とエンコーディングは別物ですから。エグいコードでよければperlでもサロゲートペア対応は可能です: $ echo '\ud842\udfb7\u91ce\u5bb6' | perl -MEncode -ple 'BEGIN { my $X = qr/[[:xdigit:]]{4}/; $U = qr/\\u$X/; $UC = qr/\\u($X)/; } $_ = encode_utf8 join q{}, map { /^$U/ ? decode "utf-16-be", pack "n*", map { hex } m/$UC/g : $_ } split qr/($U*)/'
    – ernix
    Commented 2014年12月5日 17:22
6

Pythonならhexとらなくてもdecode("unicode-escape")があります。

$ echo '\u30e6\u30cb\u30b3\u30fc\u30c9' | python -c 'from sys import stdin; print stdin.readline().decode("unicode-escape")'
ユニコード

追記:

ちなみにサロゲートペアにも対応

$ echo '\ud842\udfb7\u91ce\u5bb6' | python -c 'from sys import stdin; print stdin.readline().decode("unicode-escape")'
𠮷野家
4
  • 少なくともOS Xの標準環境(ターミナル)では、このまま実行しても結果の出力が文字化けしちゃってます。
    – 5t111111
    Commented 2014年12月2日 12:30
  • @5t111111 Terminal.appの環境設定で文字エンコーディングが正しくUTF-8になっているか確認してください。
    – ernix
    Commented 2014年12月2日 14:09
  • Yosemiteでは上手くいっていますね。我が家は標準環境(だったはず)
    – mutuki
    Commented 2014年12月2日 14:42
  • @ernix ありがとうございます。Terminal.appもUTF-8だったので「なんでだろ?」とdefaultencodingとかもいじって調べた結果、解決しました。PythonでもTerminal.appの問題でもなく、zshの問題でした・・・
    – 5t111111
    Commented 2014年12月2日 14:53
3

perl、python が回答として既に出ているので別解の意味を込めて。

vim が入っているならばバッファにエスケープされた文字列をペーストして

:%s/\\u\([0-9a-f]\{4}\)/\=nr2char(eval("0x".submatch(1)),1)/g

とすれば

\u30e6\u30cb\u30b3\u30fc\u30c9

これが

ユニコード

に変換されます。もし文字列を打ち込むのが難しい場合は

$ echo '\u30e6\u30cb\u30b3\u30fc\u30c9' | vim -

の様にして標準入力を取り込んでも良いと思います。

2

こちらもYosemiteでprintfやechoではデコードできませんでした。 私はいつも以下の方法でデコードしています。

\uHHHH形式を出力するコマンド | sed -e 's/\\u\(....\)/\&#x\1;/g' | nkf --numchar-input

まず"&#xHHHH"の形式に変換してからnkfコマンドで日本語に直しています。 残念ながらnkfはOS X標準にはなく、brewでインストールしたものですが。。

1
  • ありがとうございます。 同じく最初sedで人力デコードしてやろうかとも思いましたが、部分的に置換でも方法はあるのですね。 ちなみにbrewするならjqが良いというアイディアもいただきました。 twitter.com/at_aka/status/539448022719946753
    – mutuki
    Commented 2014年12月2日 3:41
2

Python を使ったワンライナーです。OS X はデフォルトで Python 2.7.x が入ってると思うのでそのまま使えると思います。

\uHHHH形式を出力するコマンド | python -c "import re; print re.sub(r'\\u[0-9(a-f|A-F)]{4}', lambda x: chr(int(u'0x' + x.group(0)[2:], 16)), raw_input())"
1

bash, zsh の組込み echo の -e オプションはどうでしょうか。

$ echo -e '\u30e6\u30cb\u30b3\u30fc\u30c9 \ud842\udfb7\u91ce\u5bb6'
ユニコード 野家

サロゲートペアな文字は駄目みたいです。

3
  • ありがとうございます。OS Xはzshも使えるので最悪それで…と考えてたんですが、同じく試してみてサロゲートペアがダメだったので断念してました。$ echo -e いい線まで行くんですけどね…
    – mutuki
    Commented 2014年12月16日 10:50
  • OSXの/bin/echoはBSD由来なので-eオプションは効かなかったと思います。
    – ernix
    Commented 2014年12月18日 18:37
  • bash, zsh の組込みの echo コマンドであれば -e 使えます。
    – fumiyas
    Commented 2014年12月19日 10:29

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。