[web-scraping] タグが付いた質問

ウェブスクレイピングとは、ウェブサイトから特定の情報を自動的に抽出する技術のことです。

絞り込み
並べ替え
タグ付けされた
0
1 回答
1,105 閲覧数

PythonスクレイピングでGoogle検索画面情報取得

https://torahack.com/python-scraping-for-seo/ このサイトにあるように、 ①検索結果上位サイトのURLを取得 ②title,description等を抜き出す。 ③CSVで出力、ダウンロード ということをやりたいのですが、うまくいきません。 下記のGoogle colabファイルを作成実行したところ csvファイルが生成されるのですが、中身は空でした。...
te34232's user avatar
  • 27
1
1 回答
2万 閲覧数

Python3でwebスクレイピングしたいのですが存在するURLが開けません。

python3でBeautifulSoupを使い、webスクレイピングしたいのですが、 urllib.error.HTTPError: HTTP Error 403: Forbidden と言うエラーが出てしまいます。 これはスクレイパーによるアクセスがサイト側に拒否されているということでしょうか? このエラーが出るということはこのサイトではスクレイピングできないということでしょうか?...
tasutasu's user avatar
  • 215
0
2 回答
1,977 閲覧数

Google検索結果のスクレイピングができない。

Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが 下記の疑問点が解決できないのでどなたか教えて下さい。 ①下記エラーを修正する方法を知りたい。 a = str(list[i]).strip('') IndexError: list index out of range ②titleとそのURLを取得する方法を知りたい。 参考にしたサイト https:...
te34232's user avatar
  • 27
0
1 回答
360 閲覧数

Python スクレイピング テーブル取得不可

URLの取扱銘柄一覧(テーブル)をスクレイピングをしたいのですが、 google colab取得ができません。どのように改善したらいいでしょうか。 import csv import urllib.request from bs4 import BeautifulSoup import pandas as pd urls = ['https://mxp1.monex.co.jp/mst/...
ぼぼボー's user avatar
0
1 回答
289 閲覧数

画像をスクレイピングしてまとめて表示させたい

Pythonを使ってとあるサイトの情報をスクレイピングしようと考えています。 取得したいデータとして、aタグのリンク、img要素の画像と一部テキストです。 (リンク、画像、テキストで1セットで、それを複数回スクレイピングします。) また、取得したリンク、画像、テキストを全て一覧化して一つの場所表示したいです。 (コンソールに画像も表示できれば一番いいですが、そういう方法があるのか分からないため、...
Aroma's user avatar
  • 121
0
1 回答
2,057 閲覧数

seleniumのheadlessモードを使用した時に、iTunes Connectのログインページのスクショを取得したい

検証したこと headlessモードの部分をコメントアウトして実行 ⇒メアドやパスワードを入力してclickする部分も、問題なく動作する chromeのトップページにheadlessモードでアクセスし、スクリーンショットを取れるか検証 ⇒問題なく取得できた 以上のことから、iTunes Connectのサイト都合なのか、それ以外で回避方法あるのか教えていただけると幸いです。 ...
sugato's user avatar
  • 11
1
2 回答
1,376 閲覧数

スクレイピングで5chの書き込みを取得したいができない

私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。 ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。 なぜ取得できないか、どうすれば取得できるのか教えていただきたい。 例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、 import requests ...
初心者です's user avatar
1
1 回答
438 閲覧数

はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。

はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。 出来るだけseleniumは使用したくありません。 もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。 問題 ...
wataru's user avatar
  • 1,133
1
1 回答
580 閲覧数

Pythonでスクレイピングした結果の出力がされない

仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。 コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。 本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。 (...
user43905's user avatar
1
1 回答
298 閲覧数

Pythonでのデータ収集環境について、自分の解釈が正しいかどうか

Pythonでwebスクレイピングがしたいと思い、いろいろと調べていました。 自分の状態としては、Pythonについては一通り勉強が終わっている(はずの)状態です。 ①AnacondaはPythonの機能を拡張するために用意されているもので、インストールすることで、webからデータを集めるためにコンパイルされたコードがあらかじめ用意されている。 ②Anacondaをインストールしておくと、...
ssud's user avatar
  • 11
0
1 回答
185 閲覧数

Object型の変数をString型に直したい

ライブラリにPerserを追加して、以下のコードでスクレイピングを行ったところ、取得した情報がObject型になっていて、getvalue();や.toStringを用いてString型に変換しようとしても変換できませんでした。 よって正規表現による文字列の抽出や変換ができないのですが、どなたかString型に変換する方法に心当たりはありませんか? ...
中村峻輔's user avatar
0
1 回答
360 閲覧数

jsoupでのWebサイトの値取得について

NHKの各都道府県のコロナ人数が出ているページからタグを取り出して、大阪と東京の感染者数を表示させたいです。 実行しても、catchの方にはいかず、結果は出力されません。どの部分を変更すればよろしいでしょうか。:h3 を表示させるように記述していますが、取ってきたいのはtextタグの大阪、1262です。 <div id="js-slideimage-right01" ...
ぶらっく's user avatar
0
0 回答
174 閲覧数

Pyhonでスクレイピングした結果が表示されない

仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。 コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。 from ...
user43905's user avatar
0
1 回答
3,306 閲覧数

Python 複数のURLが記載されたCSVファイルから、順にURLを取得してタイトルなどをスクレイピングする方法

一つのページをスクレイピングして、タイトルなどを取得するコードがあります。 url = "https://xxxxxxxx" html = urllib.request.urlopen(url) soup = BeautifulSoup(html, "html.parser") title = soup.find("h1").get_text() print(title) 別に、...
montjeu's user avatar
  • 63
0
1 回答
924 閲覧数

Pythonのスクレイピングをクラウド上で(できれば並列化して)行いたい

Pythonでairbnbのサイトをスクレイピングしようとしています。 PCを閉じていても定期的に動くようにしたいので、スクレイピングの処理をクラウド上で、できれば並列化して行いたいと考えております。(スクレイピング自体のコードはできています) おすすめの方法などありましたら教えて頂けると有難いです。
HQMA's user avatar
  • 111
0
1 回答
166 閲覧数

PhantomJSで収集したデータのcsvへの格納

以前質問をさせて頂いたPhantomJSをGoogle Colab上で用いて、データスクレイピングの練習をしています。 が、データをcsvファイル内にうまく格納できず下の様なエラーが出てしまいます...。 どの様に対応すれば良いでしょうか...? コード !pip install selenium # PhantomJS をダウンロード !wget https://bitbucket....
lightning070's user avatar
0
1 回答
458 閲覧数

Google ColabにおけるPhantomJSの使い方

Google Colabでスクレイピングの練習をしているのですが、以下のコードを動かしても以下のようなエラーが出てしまいます。どのようにPATHを指定すればこの問題は解決するのでしょうか? コードは https://review-of-my-life.blogspot.com/2017/10/python-web-scraping-data-collection-analysis.html ...
lightning070's user avatar
0
2 回答
1,244 閲覧数

青空文庫(https://www.aozora.gr.jp)における全作品のテキストデータと初版発行年の取得

現在私は青空文庫というページにあるデータを入力とする機械学習モデルを作ろうと考えています。 そのモデルの入力として青空文庫(https://www.aozora.gr.jp) にある作品のテキストデータとその作品の初版発行年が必要なのですが、これらのデータを抽出する方法がわからず困っています。 青空文庫には様々な作家による小説が保存されていて、ブラウザで直接個別の作品にアクセスできます。 例えば、...
lightning070's user avatar
0
1 回答
769 閲覧数

python スクレイピング 営業時間の取得

某有名グルメサイトのスクレイピングをpythonで試みていますが上手くいきません。 TAB LOG URL毎に ・店名 ・電話番号 ・住所 ・営業時間 を取得する予定です。 当初場所をCSSセレクターで指定していたものの、ページによって位置が若干変わってしまうようです。 おそらく文字列(”営業時間”)を含むタグを探して、その中身を出力?のようなことでできる気がするのですが、...
IHL's user avatar
  • 9
-1
2 回答
1,925 閲覧数

Pythonのスクレイピングでデータが取得できない

Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。 スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。 ウェブページは以下のものです。 https://nintei.nurse.or.jp/certification/General/(X(1)S(...
Akira Onozuka's user avatar
-2
1 回答
297 閲覧数

EmEditorをウェブスクレイピングとして使うことは可能でしょうか?

EmEditorをウェブスクレイピングとして使うことは可能でしょうか? たとえば事例として、EmEditorのリファレンス http://www.emeditor.org/ja/index.html 裏ワザ的な方法としては、サイトをまるごと保存するソフトで、全部一式ダウンロードする。 リファレンス関連のページを全部結合→整形→ひとつにする この方法もありますがやり方としては、簡易ではないです。 ...
三太郎's user avatar