-1

やりたいこと
開発環境 MAC OS + docker 上のウェブサービスで配信される JS で
リファラー制限のある web API を使うシステムをブラウザから動くようにしたいです

OS やセキュリティソフトのが何してるかがブラックボックスすぎて
/etc/hosts を書き換える方針では以上進展しなさそうなので

localhost という名前であれば localhost につながるので
localhost:80 にプロキシサーバーを立てて
その中でヘッダのリファラを無理やりかきかえてテストしようと思っているのですが

ヘッダをいじる程度の簡易ウェブサーバーをたてるための
python /ruby / node あたりのワンライナーや
手軽に扱えるようなコマンドやライブラリってないでしょうか?

TCP のエコーサーバーみたいなのは学生の時課題でかいたことがあるので
1から自作やれなくはないと思うのですが HTTP の解釈とかを自前でかかないといけないので
そこをやってくれるライブラリがあるとうれしいです

ちなみにプロキシサーバーを別にたてるのではなく
chrome の devtool 内で実行できるようなもので
ブラウザが を解釈して取得に行く際のヘッダを変更するようなことってさすがにできないですよね?
javascript 内にかかれた ajax 通信とかなら無理やりメソッドの中身を上書きしてヘッダを書き換えるとかもできそうなんですが

試したこと(未解決)

ブラウザのURLに本番環境と同じドメイン名をいれて開発環境につながるようにすればいいと思ったので

/etc/hosts に

127.0.0.1 test.local

と書いて chrome に
http://test.local:3000
とうちこんで表示させようとしてもDNSエラーになります

Trend Micro Web Security as a Service
DNSエラー
503 サービス利用不可

イベント詳細:
test.local サーバの名前解決に失敗しました

http://localhost:3000
だと docker 上で動いてるウェブアプリのページが表示されます

/etc/hosts の設定ってブラウザ上の DNS 名前解決には関与できないんでしょうか?


もっと根本的に chrome の拡張機能とか開発ツール等で
リファラーを強制的に上書きするような方法ってないでしょうか


追記:

エラーをみて気付いたんですがセキュリティプロキシが入ってるみたいです
これが問題なんでしょうか
だとしても etc/hosts の解決ってプロキシ設定より優先されると思ってるんですが

試しに wifi 切断してブラウザアクセスすると
localhost では変わらずアクセスできましたが
test.local だと接続エラーになります

インターネットに接続されていません
次をお試しください

ネットワーク ケーブル、モデム、ルーターを確認する
Wi-Fi に再度接続する
ERR_INTERNET_DISCONNECTED

追記:

一時うまくいったと思ったんですが
/etc/hosts そのまま残してるにもかかわらず
今日アクセスしたらまた DNS エラーになってしまいました

test.local だけでなく sample.test という名前のレコードも残してあるんですが
その名前でアクセスしても DNS エラーになってしまいます


追記:

セキュリティチームに確認したんですが .local で終わるドメインはプロキシを通さない設定にはじめからしてくれていたようで

Mac の システム環境設定 > ネットワーク > wifi タブ詳細 > プロキシ
の項目でプロキシ設定を使用しないホストとドメインの項目

*.local 

というのが入っていて

Chrome の システム > パソコンのプロキシ設定を開く でも同じものが参照されています

ポートも影響してる可能性があるので念の為 80 番ポートで docker コンテナの 3000 につながるように docker-compose を編集してみたのですがやはり

http://localhost
にアクセスすると docker 上のウェブアプリにつながるのに
http://test.local
にアクセスするとトレンドマイクロのウェブプロキシのDNSエラー画面になってしまいます

他に /etc/hosts をみにいくかゲートウェイ上のDNSに問合わせるかをきめてる部分があるのでしょうか

6
  • mac は詳しくないですが、test.local という名前が悪さをしていそうです。.local のプレフィックスを含まない別の名前で試すとどうなりますか?
    – cubick
    Commented 2022年11月22日 5:29
  • sample.test という名前にかえてみました同じ現象になりました。ただなるべく次から .local は使わないようにします。情報ありがとうございます。
    – user35303
    Commented 2022年11月22日 5:42
  • リファラーや外部 API 云々はあまり関係がなく、hosts に指定したホスト名でのアクセスがうまくいかないが本題の様に見えます。
    – cubick
    Commented 2022年11月22日 8:06
  • XY問題の場合なるべくXの内容で質問するようにって以前指摘されたので。自分は /etc/hosts を書き換えるアプローチが楽かなと思いましたが一般的にリファラー制限のある外部 web API を開発する人がどういう方針をとってるのか知りたかったのです。例えば拡張機能とかで勝手にリファラを固定できるようなものがあれば localhost のままアプリを動かしてもよかったですし。逆にこういう場合自分がとったアプローチを書かない方がいいのでしょうか? 丸投げの質問になるとマイナス回答つける人がいるので一応試したことや努力してることを見せた方が回答つきやすいのかなと思ってかいてみたんですが
    – user35303
    Commented 2022年11月22日 8:20

2 件の回答 2

2

回答ではありませんが参考までに。

etc/hosts の解決ってプロキシ設定より優先されると思ってるんですが

いいえそうとは限りません。名前解決も含めてプロキシに任せるのが一般的です。使用するプロキシを決定するプロキシー自動設定ファイル(PAC)でも

  • isResolvable()
    名前解決可能か判断する
  • dnsDomainIs()
    名前解決を行わずホスト名だけで判断する
  • dnsResolve()
    名前解決を行う
  • isInNet()
    名前解決を行いIPアドレスで判断する

というように、PACファイル含めブラウザーは名前解決できない環境でも動作するように設計されています。

4
  • ありがとうございます。そうなんですね。セキュリティチームに社内のセキュリティプロキシの無視する設定に対象ドメインをいれてもらうよう申請してみます。
    – user35303
    Commented 2022年11月24日 11:17
  • この javascript メソッド群はどのコンテキストで実行するものですか? chrome dev tool のコンソールタブに isResolvable とうちこでんも function にならずに isResolvable is not defined となります
    – user35303
    Commented 2022年12月6日 5:06
  • すみません。pac ファイルっていうプロキシ設定ファイルの中身の話なんですね。みてみたんですが .local に関する記述は特になかったのでますます原因がわかりません。
    – user35303
    Commented 2022年12月6日 6:23
  • pac ファイルの中を調べてもらったところ原因がわかって解決することができました。セキュリティに関わるので具体的には説明できないのですが、ドットを含むドメイン名は必ずプロキシを通る設定になっていたようです。pac ファイルの中身の読み方を知ることができたので勉強になりました。ありがとうございました。
    – user35303
    Commented 2022年12月9日 11:33
1

「リファラー制限のある web API」が具体的にどのようなものか分かりませんが、事前に許可する HTTP リファラー等を設定するのであれば、開発環境の情報 (IP アドレスやホスト名) を登録して許可する のが正攻法じゃないでしょうか。

もしくは、リスクは許容した上で "localhost" 等での一時的な登録をする等

Google Maps APIをローカル開発環境で使用するときの制限設定方法

HTTP リファラーに「localhost」入力はしない

サーバーにアップする場合は「HTTP リファラー」でURLを入力すれば、そのURL以下でしか使用できなくなりますが、ローカル開発環境の場合は特定のURLがないのでそれが使えません。

一応URLに「localhost:xxxx」などlocalhostを入力しても使えますが、それだと関係ない人も同じようにローカル開発環境を作れば使用できてしまいます。

IPアドレスで制限をかけた方が安心・安全です。

リファラーの偽装で解決しようとしていますが、この方法は裏を返せば本番環境に対して (悪意ある) 第三者が同じように偽装して不正に使用するかもしれない可能性も考えた方がよさそうです。

3
  • それはおっしゃる通りなんですが再申請の手続きがすごく大変っていうテクニカルじゃない諸事情がありまして… あとリファラで制限するという時点でなりすましはどうやっても防げないと思いますし、それは相手先のAPIの仕様なのでこっちがどうこうできるものでもなくcurl を叩かれたら終わりなのは理解してます。それはAPIを設計提供してる側の問題なのでこちらとしてはどうしようもないです。 あとやりたいのは img タグで相手先のAPIを叩いて画像取得したいので実行するのはローカル(リモートの場合個人の環境)なのでIP制限では無理なんですよね。そのためのリファラ制限なんだと思いますが、ソースを書き換えるたびに本番環境にデプロイしないと動作確認できないのはあまりに不便なのでどうにか開発環境でデバッグできる環境を作れないかと思っています。実際理論上はできると思うんですがchromeってブラウザやOSのブラックボックスな中身の問題でつまづいてるので質問した次第です。
    – user35303
    Commented 2022年12月6日 5:58
  • 可能ならまずは API の提供元に質問した方が具体的・現実的な回答が返ってきそうな気がします。
    – cubick
    Commented 2022年12月6日 6:09
  • まずIPアドレスで制限できることを前提に話していますができるかはわかりません。問い合わせればできるかもしれませんが、営業を巻き込んでコミュニケーションコストも時間もかかるのでまず技術的に解決できればその方が早いと思い質問しました。最終的に納期があるので、できなければ泣きついてそういう方法をとることもあり得ますが「あくまでリファラー制限のあるAPI」について質問しているわけで「IPで制限をかけることのできる」ことを前提に回答するのは疑問です。 仮にIPで制限をかけれたとしても今度は逆にリファラー制限がきちんと動作してることをデプロイ前にチェックするべきだし本番環境と別の制限設定を持ち込むのは開発環境でのデバッグという目的にも合致しません。
    – user35303
    Commented 2022年12月6日 23:15

この質問に回答するには、ログインする必要があります。