2
票
Accepted
Pythonのrequests処理を非同期にしたい
asyncio ではありませんが threading.Thread を使って want_item_url の実装をマルチスレッドにしたサンプルです。
import threading
# 省略
def want_item_url(links, name, color):
lock = threading.Lock()
target_url = []
def ...
1
票
pythonのスクレイピングがうまくいきません
何処でエラーが発生したかの認識が合っていないでしょう。
質問では以下の行でエラーが発生したと提示されていますが:
topic=soup.find(class_="news-list")
エラーメッセージは以下の行でエラーが発生したことを示しています。
for element in topic.find_all("a"):
実際には'NoneType' ...
1
票
Accepted
youtube liveに字幕をアップロードできません。
この古めの API のドキュメントはここにあるようです https://support.google.com/youtube/answer/6077032
このドキュメントによると、クエリパラメーターとして seq が必須です。質問者さんのリクエストには seq が含まれていないので Can't parse sequence number というエラーに繋がっていると思われます。
Name
...
1
票
Accepted
Pythonにてログイン機能付サイトでrequestsする方法
ブラウザの開発者ツールでリクエストを見てみると次のことがわかります。
POSTするURLはhttps://auth.userlocal.jp/login
POSTするデータにはauthenticity_tokenが含まれる
authenticity_tokenは例えば次のようにすれば手に入るはずです。
url_accounts = "https://social-admin....
1
票
Accepted
flaskで作成したDataFrameをcsvにして、ダウンロードさせたい。
こちらの記事を応用してStringIOにDataFrameをto_csv()すれば出来ると思われます。
Writing A Pandas DataFrame To A Disk File Or A Buffer
Example - To write a pandas DataFrame into a text buffer:
This Python example passes an ...
1
票
Accepted
Requestsでjsonのデコードの仕方がわかりません
requests は https://requests.readthedocs.io/en/master/ でしょうか?
そうであれば、requests.get() の戻り値はResponse型なので、res["results"] というアクセスはできません。ご察しのとおり、json() を呼べばよいでしょう。
results = res.json()["...
1
票
Yahoo検索のスクレイピングで広告だけが取得できない
metropolis さんより
User-Agent を設定して requests.get() を実行するとウェブブラウザ(手元の環境では Firefox)でアクセスした場合と同じ内容のページを取得できました。
1
票
Accepted
requestsとseleniumで取得できるcookieの種類
requestsの公式ドキュメントを探したのですが、期間限定(?)なのか限られた時間しかだめなのかアクセスできませんでした。Pypiレポジトリのrequestsのページ。
get_dict関数の実装を見ると、リクエストしたurlに対応したcookieしか返さないみたいですね。
requestsの保存するcookieのデータを見るには以下でできるみたいです。データ形式は違いそうですね。
str(...
1
票
Accepted
python, BeautifulSoupでgoogle検索のタイトル取得できない
google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。
まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'の要素があることを確認しました。
次に質問者さんと同じコードを実行しresp.textを見てみると、ブラウザから見れた<div class="r">タグが見つかりません。
...
1
票
pythonのbf4でスクレイピング中にエラーが出る
この問題は 403 のアクセス拒否が原因でした。
この投稿は @wataru さんのコメント の内容を元に コミュニティwiki として投稿しました。
コミュニティ wiki
Only top scored, non community-wiki answers of a minimum length are eligible
関連するタグ
python-requests × 27python × 26
python3 × 13
beautifulsoup × 6
web-scraping × 4
selenium × 3
flask × 3
非同期 × 3
javascript × 1
html × 1
google-chrome × 1
google-api × 1
google-colaboratory × 1
cookie × 1
https × 1
youtube × 1
anaconda3 × 1
amazon × 1