Skip to main content

次のタグが付いている話題の回答:

2
承認済み

Pythonのrequests処理を非同期にしたい

asyncio ではありませんが threading.Thread を使って want_item_url の実装をマルチスレッドにしたサンプルです。 import threading # 省略 def want_item_url(links, name, color): lock = threading.Lock() target_url = [] def ...
lehshell's user avatar
  • 626
1

python requestでPOSTした後にtableを取得しようとするとraise ValueError("No tables found") ValueError: No tables foundが出る

そのIATAのページのソースを確認するか、あるいは実際に使ってみてください。現在はPOSTではなくGETになっていることが分かります。 import requests from bs4 import BeautifulSoup import pandas import io url = "https://www.iata.org/en/publications/directories/...
tueda's user avatar
  • 456
1
承認済み

requestsで画像urlの画像を送りたい

import requests image_url = 'https://example.com/image.jpg' response = requests.post('https://example.com/upload', files={'file': (image_url, requests.get(image_url).content)}) print(response.text) ...
はやてどん's user avatar
1

pythonのスクレイピングがうまくいきません

何処でエラーが発生したかの認識が合っていないでしょう。 質問では以下の行でエラーが発生したと提示されていますが: topic=soup.find(class_="news-list") エラーメッセージは以下の行でエラーが発生したことを示しています。 for element in topic.find_all("a"): 実際には'NoneType' ...
kunif's user avatar
  • 1.8万
1
承認済み

youtube liveに字幕をアップロードできません。

この古めの API のドキュメントはここにあるようです https://support.google.com/youtube/answer/6077032 このドキュメントによると、クエリパラメーターとして seq が必須です。質問者さんのリクエストには seq が含まれていないので Can't parse sequence number というエラーに繋がっていると思われます。 Name ...
nekketsuuu's user avatar
  • 2.4万
1
承認済み

Pythonにてログイン機能付サイトでrequestsする方法

ブラウザの開発者ツールでリクエストを見てみると次のことがわかります。 POSTするURLはhttps://auth.userlocal.jp/login POSTするデータにはauthenticity_tokenが含まれる authenticity_tokenは例えば次のようにすれば手に入るはずです。 url_accounts = "https://social-admin....
letrec's user avatar
  • 3,170
1
承認済み

flaskで作成したDataFrameをcsvにして、ダウンロードさせたい。

こちらの記事を応用してStringIOにDataFrameをto_csv()すれば出来ると思われます。 Writing A Pandas DataFrame To A Disk File Or A Buffer Example - To write a pandas DataFrame into a text buffer: This Python example passes an ...
kunif's user avatar
  • 1.8万
1
承認済み

Requestsでjsonのデコードの仕方がわかりません

requests は https://requests.readthedocs.io/en/master/ でしょうか? そうであれば、requests.get() の戻り値はResponse型なので、res["results"] というアクセスはできません。ご察しのとおり、json() を呼べばよいでしょう。 results = res.json()["...
int32_t's user avatar
  • 8,734
1

Yahoo検索のスクレイピングで広告だけが取得できない

metropolis さんより User-Agent を設定して requests.get() を実行するとウェブブラウザ(手元の環境では Firefox)でアクセスした場合と同じ内容のページを取得できました。
未来のエンジニア's user avatar
1
承認済み

requestsとseleniumで取得できるcookieの種類

requestsの公式ドキュメントを探したのですが、期間限定(?)なのか限られた時間しかだめなのかアクセスできませんでした。Pypiレポジトリのrequestsのページ。 get_dict関数の実装を見ると、リクエストしたurlに対応したcookieしか返さないみたいですね。 requestsの保存するcookieのデータを見るには以下でできるみたいです。データ形式は違いそうですね。 str(...
kobabu_wrap's user avatar
1
承認済み

python, BeautifulSoupでgoogle検索のタイトル取得できない

google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。 まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'の要素があることを確認しました。 次に質問者さんと同じコードを実行しresp.textを見てみると、ブラウザから見れた<div class="r">タグが見つかりません。 ...
kobabu_wrap's user avatar
1

pythonのbf4でスクレイピング中にエラーが出る

この問題は 403 のアクセス拒否が原因でした。 この投稿は @wataru さんのコメント の内容を元に コミュニティwiki として投稿しました。

無効化に投票