2
票
承認済み
Pythonのrequests処理を非同期にしたい
asyncio ではありませんが threading.Thread を使って want_item_url の実装をマルチスレッドにしたサンプルです。
import threading
# 省略
def want_item_url(links, name, color):
lock = threading.Lock()
target_url = []
def ...
1
票
python requestでPOSTした後にtableを取得しようとするとraise ValueError("No tables found") ValueError: No tables foundが出る
そのIATAのページのソースを確認するか、あるいは実際に使ってみてください。現在はPOSTではなくGETになっていることが分かります。
import requests
from bs4 import BeautifulSoup
import pandas
import io
url = "https://www.iata.org/en/publications/directories/...
1
票
承認済み
requestsで画像urlの画像を送りたい
import requests
image_url = 'https://example.com/image.jpg'
response = requests.post('https://example.com/upload', files={'file': (image_url, requests.get(image_url).content)})
print(response.text)
...
1
票
pythonのスクレイピングがうまくいきません
何処でエラーが発生したかの認識が合っていないでしょう。
質問では以下の行でエラーが発生したと提示されていますが:
topic=soup.find(class_="news-list")
エラーメッセージは以下の行でエラーが発生したことを示しています。
for element in topic.find_all("a"):
実際には'NoneType' ...
1
票
承認済み
youtube liveに字幕をアップロードできません。
この古めの API のドキュメントはここにあるようです https://support.google.com/youtube/answer/6077032
このドキュメントによると、クエリパラメーターとして seq が必須です。質問者さんのリクエストには seq が含まれていないので Can't parse sequence number というエラーに繋がっていると思われます。
Name
...
1
票
承認済み
Pythonにてログイン機能付サイトでrequestsする方法
ブラウザの開発者ツールでリクエストを見てみると次のことがわかります。
POSTするURLはhttps://auth.userlocal.jp/login
POSTするデータにはauthenticity_tokenが含まれる
authenticity_tokenは例えば次のようにすれば手に入るはずです。
url_accounts = "https://social-admin....
1
票
承認済み
flaskで作成したDataFrameをcsvにして、ダウンロードさせたい。
こちらの記事を応用してStringIOにDataFrameをto_csv()すれば出来ると思われます。
Writing A Pandas DataFrame To A Disk File Or A Buffer
Example - To write a pandas DataFrame into a text buffer:
This Python example passes an ...
1
票
承認済み
Requestsでjsonのデコードの仕方がわかりません
requests は https://requests.readthedocs.io/en/master/ でしょうか?
そうであれば、requests.get() の戻り値はResponse型なので、res["results"] というアクセスはできません。ご察しのとおり、json() を呼べばよいでしょう。
results = res.json()["...
1
票
Yahoo検索のスクレイピングで広告だけが取得できない
metropolis さんより
User-Agent を設定して requests.get() を実行するとウェブブラウザ(手元の環境では Firefox)でアクセスした場合と同じ内容のページを取得できました。
1
票
承認済み
requestsとseleniumで取得できるcookieの種類
requestsの公式ドキュメントを探したのですが、期間限定(?)なのか限られた時間しかだめなのかアクセスできませんでした。Pypiレポジトリのrequestsのページ。
get_dict関数の実装を見ると、リクエストしたurlに対応したcookieしか返さないみたいですね。
requestsの保存するcookieのデータを見るには以下でできるみたいです。データ形式は違いそうですね。
str(...
1
票
承認済み
python, BeautifulSoupでgoogle検索のタイトル取得できない
google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。
まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'の要素があることを確認しました。
次に質問者さんと同じコードを実行しresp.textを見てみると、ブラウザから見れた<div class="r">タグが見つかりません。
...
1
票
pythonのbf4でスクレイピング中にエラーが出る
この問題は 403 のアクセス拒否が原因でした。
この投稿は @wataru さんのコメント の内容を元に コミュニティwiki として投稿しました。
コミュニティ wiki
無効化に投票
関連するタグ
python-requests × 28python × 27
python3 × 14
beautifulsoup × 6
web-scraping × 4
selenium × 3
flask × 3
非同期 × 3
javascript × 1
html × 1
google-chrome × 1
google-api × 1
google-colaboratory × 1
cookie × 1
anaconda3 × 1
youtube × 1
amazon × 1