0

現在pythonを使って簡単なクライアント用ブラウザを開発しようとしています。pythonで次のことができる方法はありますか。使用するpythonのライブラリを含めて教えていただけると助かります。
1.モダンブラウザと同様にHTMLがレンダーできる。
2.モダンブラウザと同様にjavascriptをインタプリターできる。
3.モダンブラウザと同様に通信できる。
4.SSL通信にも対応する。
5.ページをクリックしてリンク先(HTML上はhrefのリンク先)のページに遷移するときのURL(またはhttpリクエスト)を取得できる。※ここがポイント
6.hrefでなくてもHTML上のjavascriptで定義されたボタンのクリックで新しいページに遷移する場合もそのURL(またはhttpリクエスト)を取得できる。※ここがポイント
7.httpリクエストはSLL通信の場合でも取得できる。つまり暗号化する前に取得することだと思います。
8.PyQtは使わない。ライセンスが厳しいし、有償だと高額なため。
9.ブラウザの戻る/進むボタンやお気に入り、アクセス履歴などの上記の機能以外は不要。

特に5と6がポイントです。それ以外はpywebviewでもwebbrowserでもできると思うのですが、5、6ができません。これができればブラウザ機能はpython webbrowserを使ってもpywebviewでもpycurlでも構いません。ただし、上記の通りPyQtはダメ。
最適な組み合わせと実現方法を教えていただけると助かります。どうぞよろしくお願いします。

1 件の回答 1

-1

selenium-wire - PyPI が使えるのでは?

こちらが古い同様の要求についての質問ですが、回答で「2021年現在、答えはYESです。新しいライブラリ selenium-wire を使えます」とあります。
Is there any way to log http requests/responses using Selenium Webdriver (firefox)?

PyPIやGitHubの解説では、リクエストだけではなくレスポンスも取得出来ると書かれています。
ブラウザを作るというような壮大な車輪の再発明に着手するよりは、既存のブラウザをそのまま使う方がはるかに良いと思われます。

Accessing Requests

Selenium Wire captures all HTTP/HTTPS traffic made by the browser.

Selenium Wireは、ブラウザによって作成されたすべてのHTTP/HTTPSトラフィックをキャプチャします。

Intercepting Requests and Responses

As well as capturing requests and responses, Selenium Wire allows you to modify them on the fly using interceptors. An interceptor is a function that gets invoked with requests and responses as they pass through Selenium Wire. Within an interceptor you can modify the request and response as you see fit.

Selenium Wireを使用すると、要求と応答をキャプチャするだけでなく、インターセプターを使用してその場でそれらを変更できます。インターセプターは、リクエストとレスポンスがSeleniumWireを通過するときに呼び出される関数です。インターセプター内で、必要に応じて要求と応答を変更できます。

追記:
質問が編集されて取得したいのがhttpリクエストからURL(またはhttpリクエスト)に変わったようですが、解説記事の各所に例えばrequest.url,URLdriver.requests,driver.last_request,Request Objectsなどと書いてあるように、URLhttpリクエストも問題無く取得出来るでしょう。


こちらに簡単な使い方の記事があります。
How to capture HTTP requests using Selenium

こちらはAJAXのリクエストを取得出来るという記事。
Selenium-wire does not intercept requests when connecting remotely

こちらは広告の削除に応用した例。
Seleniumで広告をブロックし読み込みを速くする【selenium-wire】

1
  • 早速丁寧な回答ありがとうございます。まだ調査していませんが取り急ぎお礼だけ申し上げます。不明な点がありましたらまた質問させていただくかも知れません。よろしくお願いします。ありがとうございました。 2022年2月2日 3:22

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。