4

やりたいこと

RFC 違反の JSON を jq で処理したい。あるいは事前に RFC 準拠の JSON に変換したうえで jq で処理したい。

イメージとしては以下のような感じです。

jq <何かオプション> '.' invalid.json

あるいは

<何かツール> invalid.json | jq '.'

環境

  • Ubuntu 14.04.4 LTS
  • jq version 1.3

現象

以下のような JSON があります。これは RFC 違反です(末尾のカンマが余計)。よって jq からパースエラーと言われます。

% echo '{"foo": "0xFF",}' | jq '.'
parse error: Expected another key-value pair at line 1, column 16

末尾のカンマを削除すれば jq は JSON として解釈してくれます。

% echo '{"foo": "0xFF"}' | jq '.' 
{
  "foo": "0xFF"
}

質問

例えば JSON Formatter & Validator というサイトでは、入力された文字列が JSON として正しいかどうか判定してくます。誤っている JSON ならばそれを正しい JSON に整形してくれるオプション(「Fix JSON」)もあります。

この「JSON Formatter & Validator」で「Fix JSON」をおこなうのと同じようなことをおこなう方法( オフラインのツール )は無いでしょうか?

4
  • 1
    参考: Hjson, a user interface for JSON Python実装版は pip でインストール可能です(pip install hjson)。質問欄の例の場合は echo '{"foo": "0xFF",}' | hjson -c | jq '.' などとします。
    – user39889
    2020年1月24日 2:52
  • ありがとうございます。ためしに hjson をインストールしたところ、期待通りにできました。
    – miwarin
    2020年1月24日 4:04
  • タイトルに含まれている「あるいは許容する方法」についてはJSONを扱う何かしらのツール側での都合になるので、準拠したフォーマットに整形するとは少しアプローチが異なるんじゃないかと思います。
    – cubick
    2020年1月24日 6:25
  • 「あるいは許容する方法」については、jq のオプションに「RFC違反のJSONでも処理してくれる」といったものが無いか、という意図でした。
    – miwarin
    2020年1月24日 7:56

2 件の回答 2

7

jq の公式 wiki にある FAQ ではいくつかのツールが具体例と共に紹介されていました。

𝑸: Is there a way to have jq keep going after it hits an error in the input file? Can jq handle broken JSON?

A: Yes, though in general, preprocessing (e.g. using hjson or any-json) would be preferable. Also, there are more options if you have jq 1.5. (後略)

(和訳)
質問:入力を読んでいる最中にエラーが出ても jq に読ませ続ける方法はありますか? 壊れた JSON を jq に扱わせることはできますか?

回答:はい。一般的には、hjson や any-json などを使って前処理をするのが望ましいです。また jq 1.5 以降であればいくつかオプションを利用することもできます。(後略)

  • hjson
  • any-json
  • relaxed-json
  • strip-json-comments
  • jsonlint
  • json5

2020年1月現在では、FAQ ページの一番下に詳細が書かれています。

1
  • ぐは。FAQにありましたか。ありがとうございます。いくつか検討します。
    – miwarin
    2020年1月24日 3:58
3

jsonlint というPHP製のユーティリティがあるようです。Ubuntu向けのパッケージ も提供されていますが、お使いのバージョン(14.04.4)だと見つかりませんでした。

参考:
JSON Valdiator in Ubuntu 16.04 - Ask Ubuntu

1
  • ありがとうございます。14.04の場合は python-demjson というパッケージに含まれているようです manpages.ubuntu.com/manpages/trusty/man1/jsonlint.1.html ただ、16.04 以上にも python-demjson パッケージはありますね。これとは jsonlint パッケージも存在していて、まだよく分かっていません。
    – miwarin
    2020年1月24日 4:02

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。