2
asyncio ではありませんが threading.Thread を使って want_item_url の実装をマルチスレッドにしたサンプルです。
import threading
# 省略
def want_item_url(links, name, color):
lock = threading.Lock()
target_url = []
def search_item(url, name, color):
item_page = requests.get(url)
soup = BeautifulSoup(item_page.content, 'lxml')
item_name = soup.select('h1[...
1
こちらの記事を応用してStringIOにDataFrameをto_csv()すれば出来ると思われます。
Writing A Pandas DataFrame To A Disk File Or A Buffer
Example - To write a pandas DataFrame into a text buffer:
This Python example passes an instance of a text stream like StringIO() to write the DataFrame as a CSV into the in-memory text buffer.
from io import StringIO
textStream = StringIO();
y3....
1
requests は https://requests.readthedocs.io/en/master/ でしょうか?
そうであれば、requests.get() の戻り値はResponse型なので、res["results"] というアクセスはできません。ご察しのとおり、json() を呼べばよいでしょう。
results = res.json()["results"]
1
metropolis さんより
User-Agent を設定して requests.get() を実行するとウェブブラウザ(手元の環境では Firefox)でアクセスした場合と同じ内容のページを取得できました。
1
requestsの公式ドキュメントを探したのですが、期間限定(?)なのか限られた時間しかだめなのかアクセスできませんでした。Pypiレポジトリのrequestsのページ。
get_dict関数の実装を見ると、リクエストしたurlに対応したcookieしか返さないみたいですね。
requestsの保存するcookieのデータを見るには以下でできるみたいです。データ形式は違いそうですね。
str(s.cookies)
類似した質問を見ると以下でseleniumと同じ形式の辞書が作れそうです。
[
{'name': c.name, 'value': c.value, 'domain': c.domain, 'path': c.path}
for c in session.cookies
]
...
1
google側がスレイピングさせないようにdivタグやclass属性を書き換えているみたいです。以下その調査と報告です。
まず同じurlにブラウザからアクセスして、デベロッパーツールから検索して'.r > a'の要素があることを確認しました。
次に質問者さんと同じコードを実行しresp.textを見てみると、ブラウザから見れた<div class="r">タグが見つかりません。
おそらくスクレイピングの対策しているのだろうと考えました。https://www.google.co.jp/robots.txtを見てみると、リクエストしたurlはクローリングが禁止されています。
User-agent: *
Disallow: /search
...
1
この問題は 403 のアクセス拒否が原因でした。
この投稿は @wataru さんのコメント の内容を元に コミュニティwiki として投稿しました。
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります
関連するタグ
python-requests × 19python × 18
python3 × 11
selenium × 3
flask × 3
非同期 × 3
beautifulsoup × 3
web-scraping × 2
ruby-on-rails × 1
ruby × 1
html × 1
google-chrome × 1
google-api × 1
google-colaboratory × 1
cookie × 1
curl × 1
anaconda3 × 1
slack × 1