[web-scraping] タグが付いた質問
21
件の質問
0
票
1
回答
1,132
閲覧数
PythonスクレイピングでGoogle検索画面情報取得
https://torahack.com/python-scraping-for-seo/
このサイトにあるように、
①検索結果上位サイトのURLを取得
②title,description等を抜き出す。
③CSVで出力、ダウンロード
ということをやりたいのですが、うまくいきません。
下記のGoogle colabファイルを作成実行したところ
csvファイルが生成されるのですが、中身は空でした。...
1
票
1
回答
2万
閲覧数
Python3でwebスクレイピングしたいのですが存在するURLが開けません。
python3でBeautifulSoupを使い、webスクレイピングしたいのですが、
urllib.error.HTTPError: HTTP Error 403: Forbidden
と言うエラーが出てしまいます。
これはスクレイパーによるアクセスがサイト側に拒否されているということでしょうか?
このエラーが出るということはこのサイトではスクレイピングできないということでしょうか?...
0
票
1
回答
303
閲覧数
画像をスクレイピングしてまとめて表示させたい
Pythonを使ってとあるサイトの情報をスクレイピングしようと考えています。
取得したいデータとして、aタグのリンク、img要素の画像と一部テキストです。
(リンク、画像、テキストで1セットで、それを複数回スクレイピングします。)
また、取得したリンク、画像、テキストを全て一覧化して一つの場所表示したいです。
(コンソールに画像も表示できれば一番いいですが、そういう方法があるのか分からないため、...
0
票
2
回答
2,033
閲覧数
Google検索結果のスクレイピングができない。
Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが
下記の疑問点が解決できないのでどなたか教えて下さい。
①下記エラーを修正する方法を知りたい。
a = str(list[i]).strip('')
IndexError: list index out of range
②titleとそのURLを取得する方法を知りたい。
参考にしたサイト
https:...
0
票
1
回答
2,224
閲覧数
seleniumのheadlessモードを使用した時に、iTunes Connectのログインページのスクショを取得したい
検証したこと
headlessモードの部分をコメントアウトして実行
⇒メアドやパスワードを入力してclickする部分も、問題なく動作する
chromeのトップページにheadlessモードでアクセスし、スクリーンショットを取れるか検証
⇒問題なく取得できた
以上のことから、iTunes Connectのサイト都合なのか、それ以外で回避方法あるのか教えていただけると幸いです。
...
0
票
1
回答
383
閲覧数
Python スクレイピング テーブル取得不可
URLの取扱銘柄一覧(テーブル)をスクレイピングをしたいのですが、
google colab取得ができません。どのように改善したらいいでしょうか。
import csv
import urllib.request
from bs4 import BeautifulSoup
import pandas as pd
urls = ['https://mxp1.monex.co.jp/mst/...
1
票
2
回答
1,584
閲覧数
スクレイピングで5chの書き込みを取得したいができない
私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。
ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。
なぜ取得できないか、どうすれば取得できるのか教えていただきたい。
例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、
import requests
...
1
票
1
回答
678
閲覧数
Pythonでスクレイピングした結果の出力がされない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」の106ページです。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。
本来ならば以下の行に続けてURLが表示されるようです。よろしくお願いいたします。
(...
1
票
1
回答
298
閲覧数
Pythonでのデータ収集環境について、自分の解釈が正しいかどうか
Pythonでwebスクレイピングがしたいと思い、いろいろと調べていました。
自分の状態としては、Pythonについては一通り勉強が終わっている(はずの)状態です。
①AnacondaはPythonの機能を拡張するために用意されているもので、インストールすることで、webからデータを集めるためにコンパイルされたコードがあらかじめ用意されている。
②Anacondaをインストールしておくと、...
1
票
1
回答
447
閲覧数
はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。
はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。
出来るだけseleniumは使用したくありません。
もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。
問題
...
0
票
0
回答
179
閲覧数
Pyhonでスクレイピングした結果が表示されない
仮想環境にてPythonでのスクレイピングの勉強をしています。参考にしているのは「Pythonクローリング&スクレイピング」です。
コードをそのまま写して実行しているのですが結果が出力されません。エラーは出ずに通っているのでコードに問題は無いと思いますが、何も出力されないのはなぜでしょうか。以前質問させていただいた時の修正点は改善できているので全く解決策がわからず困っています。
from ...
0
票
1
回答
572
閲覧数
Object型の変数をString型に直したい
ライブラリにPerserを追加して、以下のコードでスクレイピングを行ったところ、取得した情報がObject型になっていて、getvalue();や.toStringを用いてString型に変換しようとしても変換できませんでした。
よって正規表現による文字列の抽出や変換ができないのですが、どなたかString型に変換する方法に心当たりはありませんか?
...
0
票
1
回答
392
閲覧数
jsoupでのWebサイトの値取得について
NHKの各都道府県のコロナ人数が出ているページからタグを取り出して、大阪と東京の感染者数を表示させたいです。
実行しても、catchの方にはいかず、結果は出力されません。どの部分を変更すればよろしいでしょうか。:h3 を表示させるように記述していますが、取ってきたいのはtextタグの大阪、1262です。
<div id="js-slideimage-right01" ...
0
票
2
回答
1,295
閲覧数
青空文庫(https://www.aozora.gr.jp)における全作品のテキストデータと初版発行年の取得
現在私は青空文庫というページにあるデータを入力とする機械学習モデルを作ろうと考えています。
そのモデルの入力として青空文庫(https://www.aozora.gr.jp) にある作品のテキストデータとその作品の初版発行年が必要なのですが、これらのデータを抽出する方法がわからず困っています。
青空文庫には様々な作家による小説が保存されていて、ブラウザで直接個別の作品にアクセスできます。
例えば、...
0
票
1
回答
467
閲覧数
Google ColabにおけるPhantomJSの使い方
Google Colabでスクレイピングの練習をしているのですが、以下のコードを動かしても以下のようなエラーが出てしまいます。どのようにPATHを指定すればこの問題は解決するのでしょうか?
コードは https://review-of-my-life.blogspot.com/2017/10/python-web-scraping-data-collection-analysis.html ...
0
票
1
回答
179
閲覧数
PhantomJSで収集したデータのcsvへの格納
以前質問をさせて頂いたPhantomJSをGoogle Colab上で用いて、データスクレイピングの練習をしています。
が、データをcsvファイル内にうまく格納できず下の様なエラーが出てしまいます...。
どの様に対応すれば良いでしょうか...?
コード
!pip install selenium
# PhantomJS をダウンロード
!wget https://bitbucket....
0
票
1
回答
3,424
閲覧数
Python 複数のURLが記載されたCSVファイルから、順にURLを取得してタイトルなどをスクレイピングする方法
一つのページをスクレイピングして、タイトルなどを取得するコードがあります。
url = "https://xxxxxxxx"
html = urllib.request.urlopen(url)
soup = BeautifulSoup(html, "html.parser")
title = soup.find("h1").get_text()
print(title)
別に、...
0
票
1
回答
791
閲覧数
python スクレイピング 営業時間の取得
某有名グルメサイトのスクレイピングをpythonで試みていますが上手くいきません。
TAB LOG
URL毎に
・店名
・電話番号
・住所
・営業時間
を取得する予定です。
当初場所をCSSセレクターで指定していたものの、ページによって位置が若干変わってしまうようです。
おそらく文字列(”営業時間”)を含むタグを探して、その中身を出力?のようなことでできる気がするのですが、...
0
票
1
回答
932
閲覧数
Pythonのスクレイピングをクラウド上で(できれば並列化して)行いたい
Pythonでairbnbのサイトをスクレイピングしようとしています。
PCを閉じていても定期的に動くようにしたいので、スクレイピングの処理をクラウド上で、できれば並列化して行いたいと考えております。(スクレイピング自体のコードはできています)
おすすめの方法などありましたら教えて頂けると有難いです。
-1
票
2
回答
2,042
閲覧数
Pythonのスクレイピングでデータが取得できない
Python初心者ですみません。あるウェブサイトから、情報を一気に取得したいのですが、ウェブページに多彩なメニューがあり、これら全てを一気に取得する方法などあるでしょうか。
スクレイピングの基本だと思うのですが、ご支援いただけますと幸いです。
ウェブページは以下のものです。
https://nintei.nurse.or.jp/certification/General/(X(1)S(...
-2
票
1
回答
301
閲覧数
EmEditorをウェブスクレイピングとして使うことは可能でしょうか?
EmEditorをウェブスクレイピングとして使うことは可能でしょうか?
たとえば事例として、EmEditorのリファレンス
http://www.emeditor.org/ja/index.html
裏ワザ的な方法としては、サイトをまるごと保存するソフトで、全部一式ダウンロードする。
リファレンス関連のページを全部結合→整形→ひとつにする
この方法もありますがやり方としては、簡易ではないです。
...