[python-requests] タグが付いた質問
python-requests タグの使い方はまだ書かれていません。
19
質問
1
票
1回答
419 件の閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
1
票
1回答
534 件の閲覧数
requestsとseleniumで取得できるcookieの種類
requestsのs.cookies.get_dict()とseleniumのdriver.get_cookies()で取得できるcookieの構造が違うのですが、なぜですか?
このrequestsで取得したセッションキーをseleniumの方に渡したいのですが、どこの値に入れれば良いかわかりません。詳しい方教えて頂けないでしょうか?...
1
票
1回答
220 件の閲覧数
pythonのbf4でスクレイピング中にエラーが出る
Pythonでクローラーを制作したのですが、クローリングしてwebページのタイトルを取得する時にエラーが出る時があります。ですがクロール中のどこのページでエラーが出るのかわからないので原因がわかりません。ちゃんとクロールできるページもあります。お手上げ状態なのでアドバイスを頂けると幸いです。よろしくお願いします。
調査結果
一応タイトルタグがない状態で出るエラーなのかと思い調査しましたが違いました。...
1
票
1回答
96 件の閲覧数
flaskのアップロードされたcsvファイルを別のプログラムにつなげたい
flaskアプリでアップロードされたcsvファイルを読み込み、それをDataFrameに変換し、別のurlに送るかそのままダウンロードできるようにしたいです。現在は以下のようなコードでやっていますが、csvファイルをアップロードした時点で
Bad Request
The browser (or proxy) sent a request that this server could not ...
0
票
1回答
657 件の閲覧数
Pythonのrequests処理を非同期にしたい
asyncioを使ってリクエストを出している間に他の処理を行ってプログラムの速度改善を行いたいのですが、記述方法が分かりません。
2日ほどasyncioについての下記の記事と睨めっこしているのですが、手も足もでず、イベントループにどのように仕事を渡せば良いか分かりません。
なんとなく理解するasyncio
Pythonの非同期通信(asyncioモジュール)入門を書きました
...
0
票
1回答
41 件の閲覧数
flaskで作成したDataFrameをcsvにして、ダウンロードさせたい。
flaskアプリでアップロードされたcsvファイルを読み込み、それをDataFrameに変換し、別のurlに送るようにしたいです。現在は以下のようなコードでやっています。train_x,train_yなどの部分は見やすさのために省略しております。最終的にy3をgetPlotCSVに送り、それをそのまま出力させたいです。何かいいアイデアをご存じの方はお教えいただければ幸いです。
import os,...
0
票
1回答
81 件の閲覧数
Requestsでjsonのデコードの仕方がわかりません
以下のプログラムを実行するとエラーが出ます。
"TypeError: 'Response' object is not subscriptable"
これはJSON化していないことが原因でしょうか?
JSON化するにしても res.json と res.text のどちらがいいのかわかりません。
import requests
import json
#郵便番号取得
...
0
票
1回答
438 件の閲覧数
python, BeautifulSoupでgoogle検索のタイトル取得できない
こちらのチュートリアルの通りにやっても、htmlのタイトル部分だけを取り出せません。
(python3.6, macos)
import requests as web
import bs4
import csv
# キーワードを使って検索する
list_keywd = ['機械学習','統計']
resp = web.get('https://www.google.co.jp/search?...
0
票
1回答
59 件の閲覧数
python requestsモジュールで空ファイルをアップロードすると、リクエストヘッダに`Transfer-Encoding`が追加されます。なぜ追加されるのでしょうか?
環境
python 3.8
requests 2.24.0
やりたいこと
pythonのrequestsモジュールでファイルをアップロードしたいです。
質問
空ファイルをStreaming Uploadすると、リクエストヘッダに{'Transfer-Encoding': 'chunked'}という情報が追加されます。
なぜTransfer-...
0
票
0回答
35 件の閲覧数
railsでuninitialized constant PyCall::LibPython::Helpersのエラーが出る
railsで実行した際に、uninitialized constant PyCall::LibPython::Helpersのエラーが出てしまいました。
同じコードを共有している人は出ていないらしいので、おそらくパソコンの環境設定の問題だと思います。
対処法を知っている方がいましたらよろしくお願い致します。
0
票
1回答
73 件の閲覧数
非同期処理を行なっているrequestsがタイムエラーを起こした時、再帰処理を行いたい。
質問内容
Pythonのモジュールrequestsを非同期処理で実装してタイムエラーが起きた際はHTMLを取得出来なかったURLを集めて再び同じ処理を行うようにプログラムを組みました。
しかし、最初の処理で取得出来ないURLがあっても再帰処理が行われていないように見えます。
ご教授お願いします。
コード
import asyncio
import time
import requests
from ...
0
票
1回答
117 件の閲覧数
非同期にしたrequestsの処理でタイムアウト時のエラーハンドリングをしたい。
requestsを非同期にしたのですが、タイムアウト時のエラーハンドリングしたいです。
プログラムで実行したい事
前回欲しい商品を検索するプログラムを作成しました。
商品全体のページからurlsを取得して非同期でアクセスを出して欲しい商品とマッチする商品urlを取得するものです。
安定してプログラムが動作するように
...
0
票
0回答
119 件の閲覧数
pythonからslackに添付ファイル付きで投稿したい
google colaboratryを使用しています。
コード内で作成し保存した.pptxを最終的にslackに投稿するところが上手くいきません。
!ls コマンドにて確認すると対象ファイルは存在しており、
対象セルの実行結果は<Response [200]>で成功しているように見えますが、
slack側の対象チャンネルに変化ありません。
...
0
票
0回答
136 件の閲覧数
Pythonでスクレイピングできない(一部しかできない)ページがあるので理由と取得方法を知りたい
Pythonでスクレイピングできない(一部しかできない)ページがある。
コードは下記の通り。
(progateのclass指定のあるh3タグの取得を実行している)
import requests
from bs4 import BeautifulSoup
URL = "https://prog-8.com/"
res = requests.get(URL)
soup = ...
0
票
1回答
75 件の閲覧数
google photo apiにrequestsでアクセスしたい。
ここにあるサイトをhttps://qiita.com/zaki-lknr/items/97c363c12ede4c1f25d2のアルバム作成を行いたくて。
Pythonのrequestsを用いてリクエストを作成したのですが400がサーバから帰ってきて上手く動作しません。
コード
zaki@wensley% curl -s -X POST -H "Authorization: Bearer $...
0
票
0回答
882 件の閲覧数
requestsで保持したセッションをseleniumに渡してログイン状態を保持したい。
pinterestというサイトにrequestsでpostログインし、その後ログインセッションseleniumに渡し操作したいのですが上手く行きません。
以下のコードを実行して見るのですが、エラーが出ず固まって動かなくなってしまいます。
詳しい方見て頂けないでしょうか?よろしくお願いします。
import requests
from selenium import webdriver
from ...
0
票
1回答
101 件の閲覧数
Flask、requestsでサーバから返ってくるデータを確認するには
pinterestのapiを使用したくアクセストークンを取得するコードを作成しています。Flaskで自身のサーバを立てており、ここにpinterestのサーバから認証コードが届きます。
アクセストークンを取得する道のりとしてhttps通信でログインした状態で認証URLにアクセスします。次にpost通信で認証を認めると設定したredirect_urlに認証コードが付与されて返ってきます。
...
0
票
0回答
884 件の閲覧数
pythonのrequestモジュールがimportできない
初心者です。
PyCharmでpythonを使用しているのですが、requestモジュールがimportできずNo module...というエラー文が発生します。
requestsモジュールはインストールしましたし、パスも間違っていないはずなのですが...
ちなみにパスの確認はimport sys print(sys.path) print(sys.version)を実行しました。
...
0
票
1回答
498 件の閲覧数
404ページのURLをPython requestsで取得したい。
Pythonのrequestsを使用しページのURLを取得したいのですが、普通のページでなくリダイレクト先のページで404のステータスコードがでるページです。
以下のURLにgetを何回かループで投げると下記ののURLがリダイレクト先として取得できます。
詳しい内容、ここで質問しています。
https://www.pinterest.com/r/pin/554505772848816821/...