[beautifulsoup] タグが付いた質問

Beautiful Soup は、HTML や XML をパースするための Python パッケージです。特にバージョン 4 のパッケージは bs4 という名前で import されます。

絞り込み
並べ替え
タグ付けされた
0
1 回答
51 閲覧数

bs4のCSSセレクタでの要素抽出

xmlで1つのdocumentに対して、yearが2021であり,かつparagraphのtextにthirdが含まれていたら1つのdocumentに含まれるparagraphの全てのtextを抽出するというプログラムを作成しています.文字列検索条件では上手くできたのですが,year条件を含めると抽出すると"ABC"...
0
2 回答
204 閲覧数

BeautifulSoupで不要なタグを削除方法

下に記述したHTMLコードの中から『取得したい文字列』を取得するには<LI>・<a>ですが、 <LI>・<a> も<time>・<span>等があるため、省くことができません。 教えてください。 例: <li><a href="XXXXXXXXXX">取得したい文字列 <...
  • 3
0
5 回答
240 閲覧数

pythonのwebスクレイピングでタグのclassが入っていないタグを収集するには

code: blok[0].find_all('span') out [<span>(11/20 11:46)</span>, <span class="PhotoIcon"></span>, <span>(11/20 11:04)</span>, <span class="...
  • 3
0
1 回答
283 閲覧数

Beautiful Soup で 5GB のファイルを読み取り中、killed と表示されてしまう

5GBのxmlファイルを読み取り,soup-containsで1万行辺りのテキストファイルの数値がarticle-id_pmidだったら特定の文字列を含んだparagraphのテキストを抽出するというプログラムがあります. このプログラムではBeautiful Soupを用いてテキストを抽出しているのですが、それだとkilledと表示されてしまい、メモリ不足ではないかと思い、1....
0
1 回答
305 閲覧数

pythonのスクレイピングがうまくいきません

https://ntp.msn.com/edge/ntp?locale=ja マイクロソフトエッジ↑ こちらのURLからニュースを取り出して表示させようとしたのですがBeautifulSoupがうまく動いていないのかエラーが発生します import requests from bs4 import BeautifulSoup load_url="https://ntp.msn.com/...
  • 1
0
1 回答
369 閲覧数

スクレイピングの文字化けを直したい

https://live23.5ch.net/test/read.cgi/livetbs/1220170942/ このurlのレスをスクレイピングしたいのですが以下のコードですると文字化けします。 res=requests.get("https://live23.5ch.net/test/read.cgi/livetbs/1220170942/") soup = ...
3
1 回答
187 閲覧数

BeautifulSoup4で入れ子のタグがあるとstringの正規表現検索ができないケースがある

beautifulsoupによるfind_allの利用方法についての調査をしたところ、タグ内部の値に対してfind_all(string=re.compile({regex}))を使って正規表現検索できることが分かりました。 しかし実際に使用してみたところ、タグの内部に入れ子のタグが存在すると意図通りにマッチングできないケースがありました。 下記のサンプルコードで、3月,4月が抽出できず、...
  • 1.1万
0
3 回答
150 閲覧数

beautifulsoupによるfind_allの利用方法について

スクレイピングにおいて値が" 3月調査 "であるspanタグを取得し,そのdata-value1属性値を取得したいと考えています。find_all関数を用いて以下のコードを実行しました。 実行コード soup.find_all('span', text=" 3月調査 ") 取得したいhtmlタグ <span data-key="tstat&...
  • 39
0
1 回答
151 閲覧数

python beautifulsoup4でローカルにあるhtmlファイルの中の入力フォーム操作によって変動する結果を取得できますか?

ある作業で自動的に生成されるindex.htmlと付随するデータがあります。 index.htmlをPCのローカルフォルダ上から起動してブラウザに表示し、画面に表示される入力フォーム部分に検索条件の値を入力し、検索ボタンを押すと画面に表示されているリストが条件に一致するモノのみに絞り込まれる仕組みのあるhtmlとなっています。 このhtmlをbeautifulsoupを使ってローカルindex....
  • 122
0
0 回答
156 閲覧数

同じPythonのソース(BS4でスクレイピング)でGoogleColaboratoryとJupyternotebookで実行結果が異なるのを解消したい

以下のソースで検索結果に表示されるaタグの中の[data-jk]属性情報を取得しています。Jupyter Notebookで実行すると、画面で確認した状態である検索結果15件と同じ「15」という結果になりますが、Google Colaboratoryで実行すると「2」という結果になります。 Google Colaboratoryでも、...
  • 1
0
1 回答
349 閲覧数

BeautifulSoupのfind_allで子要素は取得しない方法

beautifulsoup4==4.10.0 python==3.9.10 といった実行環境で行っています。 <tr align="center"> <td bgcolor="#b0c4de" width="20%">作品名</td> <th width="80%">&...
0
1 回答
619 閲覧数

pythonでのウェブスクレイピングにエラーが出るので、原因を特定していただきたいです。

質問 プログラミング学習本である、コーリー・アルソフ著「独学プログラマー」(2018発行。手元にあるのは2021年発行の刊)のP.243に記載されているウェブスクレイパーのコードを実行するも、エラーが出て原因が特定できません。 この本のサイトにて補足が公開されていたため、そちらも試しましたがうまくいきません。 https://shop.nikkeibp.co.jp/front/commodity/...
0
2 回答
1,238 閲覧数

Beautiful Soup4で動的なクラス名自体を取得するには?

BS4初心者、というかWebスクレイピング初心者です。 スクレイピング対象のサイトの作りが表データと表を説明するデータで構成されており、Pandasを使い表データ取得や加工等はできるようになったのですが、表以外のデータの取得も必要となりBeautifulSoup4を併用することで考えています。 取得する必要があるのは動的に変更となるclass名自体になります。 ...
0
0 回答
599 閲覧数

Pythonで「次へ」「次のページへ」 スクレイピングしたい

「次へ」「次のページへ」 をPythonのselenium,beutifulsoupで ユーザー名スクレイピングしたいです。 下記の方法で行いまたが、最初の1ページだけユーザー名スクレイピングされます。 次のページ行ってもスクレイピングするにはどのようにすればよろしいでしょうか。 HTML 「次へ」ボタン <button tabindex="-1" class="...
  • 435
1
2 回答
894 閲覧数

スクレイピングで5chの書き込みを取得したいができない

私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。 ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。 なぜ取得できないか、どうすれば取得できるのか教えていただきたい。 例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、 import requests ...
0
1 回答
182 閲覧数

Beautifulsoupがimportできません。

conda install beautifulsoup4 を実行した後、from bs4 import Beautifulsoup を実行しようとしたところ、 Traceback (most recent call last): File "<stdin>", line 1, in <module> ImportError: cannot ...
  • 1
1
1 回答
546 閲覧数

年齢認証があるサイトをPythonでスクレイピングしたい

実現したいこと 下記のページをスクレイピングして「動画総合」ジャンルの1位のタイトルを取得したいです。 そのためには年齢認証ページを通過する必要があるのですが、そのページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には動かなくなってしまいます。(ソースは「試したこと」の「その1」を参照) 他に2パターン試しましたが、それもうまくいきませんでした。 ...
  • 13
1
3 回答
268 閲覧数

Beautifulsoupの使い方について

Beautifulsoupの select メソッドで取得したものをさらに絞り込む方法を教えていただきたいです。 以下の class="A" の要素を取得したのちに配下のclass="B" と class="C" の要素を絞り込んで取得したいです。 <div class="A"> <div ...
0
2 回答
344 閲覧数

Python3とBeatifulSoup4を使ってhtmlからsvgを抜き取りました。svg画像としてExcelへ貼り付けるため、svgファイルとして保存する方法を教えてください。

soup = BeautifulSoup(html, "html.parser") svgs = soup.findAll('svg') svgs[1] # <----- .svgとしてsaveしたい
  • 1
1
1 回答
4,911 閲覧数

beautifulsoupでのスクレイピングの際のAttributeError: 'NoneType' object has no attribute 'get'

実行環境 windows10 python3 jupyterlab 実現したいこと ツイキャスのランキングから、配信者の名前とツイキャスプロフィールのURL、そしてtwitterURLを 入手したいと考えています。 import requests from bs4 import BeautifulSoup import re import pandas as pd url = 'https://...
  • 113
0
0 回答
363 閲覧数

Amazonの注文履歴履歴サイトのページ要素が取得できません

最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。 AmazonのトップページのURLを開く ログインする 注文履歴を開くボタンをクリックする 注文履歴内のデータを取得する この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って ...
0
2 回答
177 閲覧数

pythonのlamda式を普通の式に戻したい。

下記のサイトのプログラムでlamdaが使用されている箇所があるのですが、なんとなくコメントオブジェクトならエレメントに代入する意味になっていると思うのですが、itや textが何を指しているのかよく分からないです。 教えて頂けないでしょうか? div = soup.find('div', class_='foo') for element in div(text=lambda it: ...
  • 1,053
0
1 回答
967 閲覧数

BeautifulSoup4がImportできない

IDLEにおいて以下のコードを入力するとエラー?が表示されます。解決策をご教示いただけますでしょうか。 from bs4 import BeautifulSoup soup = BeautifulSoup(html.centent, "html.parser") エラー? Traceback (most recent call last): File "/...
0
0 回答
402 閲覧数

beautifulsoupでtimeタグが取得できない

python&beautifulsoupでtimeタグを取得しようとしてるのですが、色々試してもうまくいきません。コードは以下の状態です。 教えていただけるとありがたいです。 # coding: UTF-8 import urllib.request, urllib.error from bs4 import BeautifulSoup url = "https://xxx" ...
0
2 回答
1,487 閲覧数

BeautifulSoup4で空白文字を含んだclassの中身を取得したい

BeautifulSoup4でホームページから情報取得をする勉強をしているのですが空白を含んだclassを指定して取得する方法がわかりません。 具体例だと https://race.netkeiba.com/race/result.html?race_id=202006010810&rf=race_submenu の【後3F】の部分で、背景に色がついているものは'Time BgYellow'...
0
0 回答
531 閲覧数

Pythonでスクレイピングできない(一部しかできない)ページがあるので理由と取得方法を知りたい

Pythonでスクレイピングできない(一部しかできない)ページがある。 コードは下記の通り。 (progateのclass指定のあるh3タグの取得を実行している) import requests from bs4 import BeautifulSoup URL = "https://prog-8.com/" res = requests.get(URL) soup = ...
2
2 回答
170 閲覧数

スクレイピングしたものをcsvに書き出すと余計な " が属性につく。

やりたいこと。 csvファイルをつくる コンテンツは、htmlタグ付きのままスクレイピングしたもの。 しかし、余計なクォーテーションがついてしまう。 原因はstr()をつかったことだとおもいます。なぜなら、prettify()ではこのようなことがおこらなかったからです。 csvに書き出すためにどのような型に変換すればいいのでしょうか? for def_el in ...
  • 415
0
1 回答
108 閲覧数

スクレイピングである要素を新しい要素で挟む方法

今現在、beautifulsoup4を使ってスクレイピングを行っています。 やりたいこと <div class='ex1'></div> を<p id='good'>で挟む。 <p id='good'><div class='ex1'></div></p> HTML <html> <...
  • 415
0
1 回答
4,058 閲覧数

BeautifulSoupで要素内の要素を取得したい

PythonでBeautifulSoupを使って、findを使って特定のclassのテキストを取得しようと思ったのですが、違うクラスの中の特定のクラスも取得してしまうので、二回findを使おうと思ったのですが、エラーが出てきてしまいました。 ソースコード <div class="hoge"> <div class="piyo"></div> <...
1
1 回答
1,040 閲覧数

Yahoo検索のスクレイピングで広告だけが取得できない

今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。 もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
0
1 回答
140 閲覧数

webの要素をスクレイプする際のfindallの使い方

下記のHTML構造を持つURLから、td要素のa,b,cを取得して1行に並ぶように以下scriptを作成したのですが、どうしてもdまで取得してしまい、且つ出力されるものが乱れてしまいます。 div要素を限定するのかもしれませんが、理想とする出力を得る方法をご教示いただけないでしょうか。 ■理想とする出力 URLのタイトル(1)、a,b,c,a',b',c',a'',b'',c'',a''',b''...
  • 15
0
2 回答
1,941 閲覧数

スクレイピングで子を一つだけ取り除く方法。

.py from bs4 import BeautifulSoup # urlは例です url = 'https://example.com' response = requests.get(url) data = response.text soup = BeautifulSoup(data, 'html.parser') HTML <div class='ttt'> &...
  • 415
0
2 回答
1,776 閲覧数

Google検索結果のスクレイピングができない。

Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが 下記の疑問点が解決できないのでどなたか教えて下さい。 ①下記エラーを修正する方法を知りたい。 a = str(list[i]).strip('') IndexError: list index out of range ②titleとそのURLを取得する方法を知りたい。 参考にしたサイト https:...
  • 27
0
1 回答
926 閲覧数

複数のタグを指定してスクレイピング

あるurlのソースコードから、下記の2箇所を取得したいのですが、 結果のリストが空になってしまいます。 def get_all_reviews(url): rvw_list_text = [] res = requests.get(url) soup = bs4.BeautifulSoup(res.text, features='lxml') for r in ...
0
1 回答
849 閲覧数

python, BeautifulSoupでgoogle検索のタイトル取得できない

こちらのチュートリアルの通りにやっても、htmlのタイトル部分だけを取り出せません。 (python3.6, macos) import requests as web import bs4 import csv # キーワードを使って検索する list_keywd = ['機械学習','統計'] resp = web.get('https://www.google.co.jp/search?...
0
1 回答
539 閲覧数

Python スクレイピング 同じ項目は同じ列に記載、異なる項目は新しく列を追加して記載する方法

当方初心者であり、申し訳ないのですが皆様のお知恵を拝借したいです。 いろいろ検索したのですが、良い方法(どこから手をつけるべきか)がわからず、 困っております。アドバイスいただけますと幸いです。 ページをスクレイピングして、CSVに下記のようなデータを書き出すプログラムを作りました。 a,b,d,x,テスト 3354,test,あいうえ,いろはに,12345 この時、...
  • 63
0
1 回答
644 閲覧数

スクレイピングで取得した複数列のテーブルデータをCSVに書き出す時に1列にする方法

初心者のためわかりにくい部分もあるかと思いますが、教えてください。 スクレイピングで取得したテーブルデータをCSVで書き出し、 マイクロソフトのエクセルで開いた場合、 項目1 値1 項目4 値4 項目2 値2 項目5 値5 項目3 値3 項目6 値6 元のテーブルの形式上、このように表示されます。 これを、 項目1 項目2 項目3 項目4  値1 値2 値3 値4 .... ...
  • 63
0
1 回答
1,047 閲覧数

PythonスクレイピングでGoogle検索画面情報取得

https://torahack.com/python-scraping-for-seo/ このサイトにあるように、 ①検索結果上位サイトのURLを取得 ②title,description等を抜き出す。 ③CSVで出力、ダウンロード ということをやりたいのですが、うまくいきません。 下記のGoogle colabファイルを作成実行したところ csvファイルが生成されるのですが、中身は空でした。...
  • 27
0
1 回答
4,966 閲覧数

BeautifulSoupで抽出したタグリストからテキストのみをリスト形式で抽出したい

from bs4 import BeautifulSoup r = requests.get("********************") soup = BeautifulSoup(r.content, "html.parser") class = soup.find_all("div", class_ = "word") このままだと、...
0
1 回答
167 閲覧数

取得した文字列の操作及び出力python

食べログのサイトから営業時間を取得し、平日/土日祝をそれぞれ開始日時と終了日時に分けてcsvに出力できればと考えています。 今の問題は 取得済みの平日/土日祝で別々のリストに入った文字列からxx:xxという時刻の文字列を取り出し出力すること。今のままだと1800みたくなってしまいます。findallで取得したものの中に":"や"~"という文字は除外されてしまうみたいです。 ”~”...
  • 9
0
1 回答
348 閲覧数

Python 平日土日を分けてcsvに出力したい

「食べログ」から営業時間を取得し、それを平日と土日に分けて 平日開始時刻, 平日終了時刻, 土日祝開始時刻, 土日祝日終了時刻, 定休日 というようにcsvに出力したいです。 今のところpandasを使ってcsvに出力をしようと考えています。 どうやれば上手く平日土日を判別して、またそれを区切って出力できるかがわかりません。 宜しくお願いします。 <kunifさんより> # -...
  • 9
0
1 回答
509 閲覧数

指定したレイヤーのみを範囲にスクレイピング

スクレイピングを行う範囲を指定したいなと思っています。 私が考えているのは、findなどを用いて部分的にlxmlを切り取ってから、それでまたスープを作るみたいなあやふやなビジョンしか今のところ考えつかずにいます。 <div id="foo"> <a href="*1"> <img src="*1.jpg" class="bar"/> ...
  • 91
0
2 回答
504 閲覧数

Pythonのbs4とrequestsを用いたスクレイピングでsrcsetに対応したい

BeautifulSoup4とRequestsでスクレイピングを行いたいのですが、 srcで検索をしてURLを取得してしまうと、想定よりも小さいサイズの画像ファイルがダウンロードされます。 これはHTMLのimgタグにあるsrcsetの影響です。 おそらく、自身がウィンドウサイズを指定できていないのが原因と考えています。 以上の点を踏まえて、...
  • 91
0
0 回答
130 閲覧数

python3でBeautifulSoup4を利用して体育館の予約空き状況を確認したいがログインできない

python3でBeautifulSoup4を利用して体育館の予約空き状況を確認したいのですが、ログイン方法が分かりません。手掛かりを教えて頂けないでしょうか? ここにログインして→https://www.e-shisetsu.e-aichi.jp/user/view/user/mypIndex.html <form id="childForm" name="...
0
1 回答
465 閲覧数

BeautifulSoup4での複数ページスクレイピング

ページが複数あるサイトのスクレイピングをしようと、下記のようなコードを書きました。 1ページ目を取得して色々処理した後、「e」の入力がなければ2ページ目~...と無限に繰り返すようなwhile文です。 import requests import webbrowser from bs4 import BeautifulSoup targetSite = "http://abc.com/" ...
  • 121
0
1 回答
313 閲覧数

スクレイピングした画像は表示できるか [重複]

PythonのBeautifulSoupを利用してスクレイピングをしていますが、 imgタグのsrcにあるURLを取得した場合、 ローカルに保存せずにその画像をどこかに表示することは可能でしょうか。 ご回答のほど、よろしくお願い致します。 === OS: Mac Python: 2.7.10 ライブラリ: beautifulsoup4: 4.6.1 lxml: 4.2.5 requests:...
  • 121
0
0 回答
126 閲覧数

Pythonではてなブックマークのデータ管理のページからブックマークデータを取得したい。

前回の質問でスクレイピングを使用して取り出そうと考えていたのですが、はてなサイトに何度もアクセスを飛ばすのは良くないと思いデータの管理画面からブックマークデータをダウンロードしてそこから抽出しようと思うのですが、どのようにしたら良いのでしょうか? 三つのうちのどれでも良いのですが、HTMLでDLできるブックマーク形式が楽かと思います。 ...
  • 1,053
1
1 回答
410 閲覧数

はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。

はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。 出来るだけseleniumは使用したくありません。 もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。 問題 ...
  • 1,053
1
1 回答
9,431 閲覧数

BeautifulSoup4をimport出来ない。

from bs4 import BeautifulSoup をIDLE(3.7.0)shellで実行すると、以下のエラーが表示されます。 Traceback (most recent call last): File "C:\Users\(ユーザー名)\Desktop\python スクリプト\test\scraper.py", line 2, in <module> ...
0
1 回答
200 閲覧数

pysearch-masterを導入したいのですが、pymongoでエラーが出ます。

以前の投稿で、QtWebKitの画像や動画を見られるようにするには?という質問を出し、ご指摘を受けましたので質問を分ける事にしました。 したいこと  Google検索エンジンなどのように、文字などを適当なラインにいれれば、検索候補を出してくれるようなものを自分のアプリに備え付けたいと思っています。現在QtWebKitで、簡易的なブラウザを作っていて、ここに装着するようにしたいです。 ...