[python-requests] タグが付いた質問
python-requests タグの使い方はまだ書かれていません。
27
質問
0
票
0
回答
139
閲覧数
「Python スクレイピング&クローリング 増補改訂版」に出てくるコードのエラーについて
Python スクレイピング&クローリング 増補改訂版 を使ってスクレイピングの勉強をしている初心者です。
書籍通りに技術評論社のスクレイピングを実行している最中にエラーが出てしまいます。
特に聞きたいのはp57~p58にかけてのreモジュールのエラーについてです。
しかしそれまでの経緯も影響していそうなので、全体的なコードの流れも示していきます。
...
0
票
0
回答
87
閲覧数
https通信のデバッグを行う方法
(とあるurllib3パッケージを利用している、転用元コードを参考にして、)
https通信をストリームで、読み込む処理を作成しました。
利用するパッケージを統一するために、requestsパッケージで同様のことをしたく
書き換えたところ、未応答状態となり動作しませんでした。
(未応答状態となる接続先のサイトは公開できないのですが、)
https通信をデバッグするには、...
0
票
0
回答
836
閲覧数
自分自身のIPへのrequestsでWinError 10061が発生する
以下のページと同等のことを行おうと考えています。
Windows/Macに入れたVOICEVOXをPython経由で使う方法
まずは動作確認のため、ラズパイではなくWindows PC上で行っています。
localhostにrequestsを送ると正常に返ってくるのですが、post先のアドレスを自分のIPアドレスに置き換えるとエラーが出るようになりました。
動かない条件としては、...
0
票
1
回答
832
閲覧数
pythonのスクレイピングがうまくいきません
https://ntp.msn.com/edge/ntp?locale=ja
マイクロソフトエッジ↑ こちらのURLからニュースを取り出して表示させようとしたのですがBeautifulSoupがうまく動いていないのかエラーが発生します
import requests
from bs4 import BeautifulSoup
load_url="https://ntp.msn.com/...
1
票
1
回答
83
閲覧数
youtube liveに字幕をアップロードできません。
http://upload.youtube.com/closedcaption?cid=(cid)
に字幕をアップロードするデータをPOSTしても、
[TIME] Can't parse sequence number
と返ってきます。
POSTしたデータ
2022-06-12T08:02:00.000 region:reg1#cue1
test
0
票
0
回答
196
閲覧数
同じPythonのソース(BS4でスクレイピング)でGoogleColaboratoryとJupyternotebookで実行結果が異なるのを解消したい
以下のソースで検索結果に表示されるaタグの中の[data-jk]属性情報を取得しています。Jupyter Notebookで実行すると、画面で確認した状態である検索結果15件と同じ「15」という結果になりますが、Google Colaboratoryで実行すると「2」という結果になります。
Google Colaboratoryでも、...
0
票
1
回答
3,021
閲覧数
Pythonにてログイン機能付サイトでrequestsする方法
下記のログイン機能付サイトでrequestを使ってログインしたいですが、
うまくログイン出来ないです。
python seleniumだとうまくログインできますが、
下記のコードrequestだとうまく行かず、ログインボタンのところが引っかかります。。
requestでログイン可能でしょうか。
※こちらのサイト参考にしました。
ログイン機能付サイトでスクレイピング【requests】【...
0
票
0
回答
398
閲覧数
Amazonの注文履歴履歴サイトのページ要素が取得できません
最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。
AmazonのトップページのURLを開く
ログインする
注文履歴を開くボタンをクリックする
注文履歴内のデータを取得する
この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って
...
0
票
1
回答
252
閲覧数
Pythonのrequestsで画像を取得した際のr.contentと同じ形式でhtmlのinputに選択された画像も受け取りたい。
画像のアドレスに下記のようにアクセスして大量の文字列が返ってきたのですがこれの種類を教えて欲しい。
またJavaScriptのinputからユーザがサーバにアップロードする画像も下記のような文字列で画像を受け取りたいのだが、base64等色々種類があってどれを使用して良いか分からないので教えていただきたいです。
よろしくお願いします。
import requests
r = requests....
0
票
1
回答
1,177
閲覧数
flaskで作成したDataFrameをcsvにして、ダウンロードさせたい。
flaskアプリでアップロードされたcsvファイルを読み込み、それをDataFrameに変換し、別のurlに送るようにしたいです。現在は以下のようなコードでやっています。train_x,train_yなどの部分は見やすさのために省略しております。最終的にy3をgetPlotCSVに送り、それをそのまま出力させたいです。何かいいアイデアをご存じの方はお教えいただければ幸いです。
import os,...
0
票
1
回答
1,117
閲覧数
flaskのアップロードされたcsvファイルを別のプログラムにつなげたい
flaskアプリでアップロードされたcsvファイルを読み込み、それをDataFrameに変換し、別のurlに送るかそのままダウンロードできるようにしたいです。現在は以下のようなコードでやっていますが、csvファイルをアップロードした時点で
Bad Request
The browser (or proxy) sent a request that this server could not ...
0
票
1
回答
322
閲覧数
python requestsモジュールで空ファイルをアップロードすると、リクエストヘッダに`Transfer-Encoding`が追加されます。なぜ追加されるのでしょうか?
環境
python 3.8
requests 2.24.0
やりたいこと
pythonのrequestsモジュールでファイルをアップロードしたいです。
質問
空ファイルをStreaming Uploadすると、リクエストヘッダに{'Transfer-Encoding': 'chunked'}という情報が追加されます。
なぜTransfer-...
0
票
1
回答
259
閲覧数
非同期処理を行なっているrequestsがタイムエラーを起こした時、再帰処理を行いたい。
質問内容
Pythonのモジュールrequestsを非同期処理で実装してタイムエラーが起きた際はHTMLを取得出来なかったURLを集めて再び同じ処理を行うようにプログラムを組みました。
しかし、最初の処理で取得出来ないURLがあっても再帰処理が行われていないように見えます。
ご教授お願いします。
コード
import asyncio
import time
import requests
from ...
0
票
1
回答
779
閲覧数
非同期にしたrequestsの処理でタイムアウト時のエラーハンドリングをしたい。
requestsを非同期にしたのですが、タイムアウト時のエラーハンドリングしたいです。
プログラムで実行したい事
前回欲しい商品を検索するプログラムを作成しました。
商品全体のページからurlsを取得して非同期でアクセスを出して欲しい商品とマッチする商品urlを取得するものです。
安定してプログラムが動作するように
...
0
票
1
回答
3,543
閲覧数
Pythonのrequests処理を非同期にしたい
asyncioを使ってリクエストを出している間に他の処理を行ってプログラムの速度改善を行いたいのですが、記述方法が分かりません。
2日ほどasyncioについての下記の記事と睨めっこしているのですが、手も足もでず、イベントループにどのように仕事を渡せば良いか分かりません。
なんとなく理解するasyncio
Pythonの非同期通信(asyncioモジュール)入門を書きました
...
0
票
1
回答
1,532
閲覧数
Requestsでjsonのデコードの仕方がわかりません
以下のプログラムを実行するとエラーが出ます。
"TypeError: 'Response' object is not subscriptable"
これはJSON化していないことが原因でしょうか?
JSON化するにしても res.json と res.text のどちらがいいのかわかりません。
import requests
import json
#郵便番号取得
...
0
票
0
回答
657
閲覧数
Pythonでスクレイピングできない(一部しかできない)ページがあるので理由と取得方法を知りたい
Pythonでスクレイピングできない(一部しかできない)ページがある。
コードは下記の通り。
(progateのclass指定のあるh3タグの取得を実行している)
import requests
from bs4 import BeautifulSoup
URL = "https://prog-8.com/"
res = requests.get(URL)
soup = ...
0
票
1
回答
180
閲覧数
google photo apiにrequestsでアクセスしたい。
ここにあるサイトをhttps://qiita.com/zaki-lknr/items/97c363c12ede4c1f25d2のアルバム作成を行いたくて。
Pythonのrequestsを用いてリクエストを作成したのですが400がサーバから帰ってきて上手く動作しません。
コード
zaki@wensley% curl -s -X POST -H "Authorization: Bearer $...
1
票
1
回答
1,093
閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
1
票
1
回答
1,390
閲覧数
requestsとseleniumで取得できるcookieの種類
requestsのs.cookies.get_dict()とseleniumのdriver.get_cookies()で取得できるcookieの構造が違うのですが、なぜですか?
このrequestsで取得したセッションキーをseleniumの方に渡したいのですが、どこの値に入れれば良いかわかりません。詳しい方教えて頂けないでしょうか?...
0
票
1
回答
892
閲覧数
python, BeautifulSoupでgoogle検索のタイトル取得できない
こちらのチュートリアルの通りにやっても、htmlのタイトル部分だけを取り出せません。
(python3.6, macos)
import requests as web
import bs4
import csv
# キーワードを使って検索する
list_keywd = ['機械学習','統計']
resp = web.get('https://www.google.co.jp/search?...
0
票
0
回答
1,809
閲覧数
requestsで保持したセッションをseleniumに渡してログイン状態を保持したい。
pinterestというサイトにrequestsでpostログインし、その後ログインセッションseleniumに渡し操作したいのですが上手く行きません。
以下のコードを実行して見るのですが、エラーが出ず固まって動かなくなってしまいます。
詳しい方見て頂けないでしょうか?よろしくお願いします。
import requests
from selenium import webdriver
from ...
0
票
1
回答
778
閲覧数
Flask、requestsでサーバから返ってくるデータを確認するには
pinterestのapiを使用したくアクセストークンを取得するコードを作成しています。Flaskで自身のサーバを立てており、ここにpinterestのサーバから認証コードが届きます。
アクセストークンを取得する道のりとしてhttps通信でログインした状態で認証URLにアクセスします。次にpost通信で認証を認めると設定したredirect_urlに認証コードが付与されて返ってきます。
...
-1
票
1
回答
1,141
閲覧数
APIから結果を取得するPythonプログラムの処理速度を上げたい
解決したいこと
初めてちゃんとしたコードを書いたのですが、実行に5分もかかることがあり、書き方次第でもっと早くできるところがあるんじゃないかと思い質問させていただきました。
プログラムの概要
クラッシュロワイヤルというゲームのAPIを取得し、必要な情報を取り入れ、pandasのデータフレームを作成するという流れです。
実際のコード
#クラロワAPIからプロ選手の情報を取得するプログラム
...
0
票
0
回答
1,791
閲覧数
pythonのrequestモジュールがimportできない
初心者です。
PyCharmでpythonを使用しているのですが、requestモジュールがimportできずNo module...というエラー文が発生します。
requestsモジュールはインストールしましたし、パスも間違っていないはずなのですが...
ちなみにパスの確認はimport sys print(sys.path) print(sys.version)を実行しました。
...
0
票
1
回答
1,161
閲覧数
404ページのURLをPython requestsで取得したい。
Pythonのrequestsを使用しページのURLを取得したいのですが、普通のページでなくリダイレクト先のページで404のステータスコードがでるページです。
以下のURLにgetを何回かループで投げると下記ののURLがリダイレクト先として取得できます。
詳しい内容、ここで質問しています。
https://www.pinterest.com/r/pin/554505772848816821/...
1
票
1
回答
381
閲覧数
pythonのbf4でスクレイピング中にエラーが出る
Pythonでクローラーを制作したのですが、クローリングしてwebページのタイトルを取得する時にエラーが出る時があります。ですがクロール中のどこのページでエラーが出るのかわからないので原因がわかりません。ちゃんとクロールできるページもあります。お手上げ状態なのでアドバイスを頂けると幸いです。よろしくお願いします。
調査結果
一応タイトルタグがない状態で出るエラーなのかと思い調査しましたが違いました。...