[beautifulsoup] タグが付いた質問

Beautiful Soup は、HTML や XML をパースするための Python パッケージです。特にバージョン 4 のパッケージは bs4 という名前で import されます。

絞り込み
並べ替え
タグ付けされた
3
1 回答
186 閲覧数

BeautifulSoup4で入れ子のタグがあるとstringの正規表現検索ができないケースがある

beautifulsoupによるfind_allの利用方法についての調査をしたところ、タグ内部の値に対してfind_all(string=re.compile({regex}))を使って正規表現検索できることが分かりました。 しかし実際に使用してみたところ、タグの内部に入れ子のタグが存在すると意図通りにマッチングできないケースがありました。 下記のサンプルコードで、3月,4月が抽出できず、...
  • 1.1万
2
2 回答
168 閲覧数

スクレイピングしたものをcsvに書き出すと余計な " が属性につく。

やりたいこと。 csvファイルをつくる コンテンツは、htmlタグ付きのままスクレイピングしたもの。 しかし、余計なクォーテーションがついてしまう。 原因はstr()をつかったことだとおもいます。なぜなら、prettify()ではこのようなことがおこらなかったからです。 csvに書き出すためにどのような型に変換すればいいのでしょうか? for def_el in ...
  • 415
2
1 回答
527 閲覧数

BeautifulSoup を用いた、特定のli の内容の取得

次のようなタグの情報を取得したいと考えています。 <ul class="dtlTbl"> <li data-locate="address"><dl> <dt>住所</dt> </dl> </li> &...
  • 240
1
3 回答
267 閲覧数

Beautifulsoupの使い方について

Beautifulsoupの select メソッドで取得したものをさらに絞り込む方法を教えていただきたいです。 以下の class="A" の要素を取得したのちに配下のclass="B" と class="C" の要素を絞り込んで取得したいです。 <div class="A"> <div ...
1
2 回答
887 閲覧数

スクレイピングで5chの書き込みを取得したいができない

私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。 ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。 なぜ取得できないか、どうすれば取得できるのか教えていただきたい。 例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、 import requests ...
1
1 回答
1,705 閲覧数

beatifusoupをimportできないのはなぜ?

import BeautifulSoupを実行すると以下のエラーが表示されてしまいます。 ModuleNotFoundError: No module named 'BeautifulSoup' コマンドプロンプトでpip install [パッケージ]は問題なく実行できて pip freezeコマンドを実行するとインストールされたパッケージの一覧にbeautifulsoupは表示されています。 ...
  • 103
1
2 回答
2,539 閲覧数

beautifulsoupを用いて、規則性のある20行24列の競馬のデータ表をCSVに書き込みたい

前提・実現したいこと お世話になります、python初心者ですpython2.7,beautifulsoupを用いて、競馬データをスクレイピングしておりますが、どうにも困っております。 1行だけはprintすることが出来るのですが、20行をスクレイピングするスクリプトと、併せて、CSVに出力させるスクリプトが分かりません。 発生している問題・エラーメッセージ csvに保存が出来ないこと ...
1
1 回答
3,447 閲覧数

BeautifulSoup4をインストールしているのですが、NameErrorが出て利用できません。

PythonでWebスクレイピングを試みていますが、NameErrorが出ます。 BeautifulSoupはインストールされていると思うのですが、記述方法に問題があるのでしょうか。 【環境】 OS:Win7 32bit Python:3.6.4 IDE:ATOM 環境変数(Pathに追加済み):C:\Users\username\AppData\Local\Programs\Python\...
  • 37
1
1 回答
5,791 閲覧数

BeautifulSoupを使って<li>の内容をリストとして保存する方法?

次のようなtagの、liの内容の一つづつを、listとして保存したいと考えています。 <ul id="front"> <li class="icon-01">乗用車</li> <li class="icon-02">トラック</li> <li class="icon-11">軽自動車</li> </ul&...
  • 240
1
1 回答
544 閲覧数

年齢認証があるサイトをPythonでスクレイピングしたい

実現したいこと 下記のページをスクレイピングして「動画総合」ジャンルの1位のタイトルを取得したいです。 そのためには年齢認証ページを通過する必要があるのですが、そのページの表示可否を決めているcookieの値が毎日変化するようで、プログラムに直書きすると翌日には動かなくなってしまいます。(ソースは「試したこと」の「その1」を参照) 他に2パターン試しましたが、それもうまくいきませんでした。 ...
  • 13
1
1 回答
1,038 閲覧数

Yahoo検索のスクレイピングで広告だけが取得できない

今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。 もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
1
1 回答
410 閲覧数

はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。

はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。 出来るだけseleniumは使用したくありません。 もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。 問題 ...
  • 1,053
1
1 回答
9,426 閲覧数

BeautifulSoup4をimport出来ない。

from bs4 import BeautifulSoup をIDLE(3.7.0)shellで実行すると、以下のエラーが表示されます。 Traceback (most recent call last): File "C:\Users\(ユーザー名)\Desktop\python スクリプト\test\scraper.py", line 2, in <module> ...
1
1 回答
550 閲覧数

BeautifulSoupにてXML中のnameタグの中身を取得する方法

BeautifulSoup4、Python 3.6を使用しています。 パーサーはlxml-xmlです。 以下のようなXMLをパースして、entry.name.stringを取得しようとすると、エラーとなります。 <entry><name>Foo</name><value>80</value></entry> ...
  • 537
1
1 回答
4,888 閲覧数

beautifulsoupでのスクレイピングの際のAttributeError: 'NoneType' object has no attribute 'get'

実行環境 windows10 python3 jupyterlab 実現したいこと ツイキャスのランキングから、配信者の名前とツイキャスプロフィールのURL、そしてtwitterURLを 入手したいと考えています。 import requests from bs4 import BeautifulSoup import re import pandas as pd url = 'https://...
  • 113
0
3 回答
149 閲覧数

beautifulsoupによるfind_allの利用方法について

スクレイピングにおいて値が" 3月調査 "であるspanタグを取得し,そのdata-value1属性値を取得したいと考えています。find_all関数を用いて以下のコードを実行しました。 実行コード soup.find_all('span', text=" 3月調査 ") 取得したいhtmlタグ <span data-key="tstat&...
  • 39
0
1 回答
615 閲覧数

pythonでのウェブスクレイピングにエラーが出るので、原因を特定していただきたいです。

質問 プログラミング学習本である、コーリー・アルソフ著「独学プログラマー」(2018発行。手元にあるのは2021年発行の刊)のP.243に記載されているウェブスクレイパーのコードを実行するも、エラーが出て原因が特定できません。 この本のサイトにて補足が公開されていたため、そちらも試しましたがうまくいきません。 https://shop.nikkeibp.co.jp/front/commodity/...
0
2 回答
177 閲覧数

pythonのlamda式を普通の式に戻したい。

下記のサイトのプログラムでlamdaが使用されている箇所があるのですが、なんとなくコメントオブジェクトならエレメントに代入する意味になっていると思うのですが、itや textが何を指しているのかよく分からないです。 教えて頂けないでしょうか? div = soup.find('div', class_='foo') for element in div(text=lambda it: ...
  • 1,053
0
1 回答
4,045 閲覧数

BeautifulSoupで要素内の要素を取得したい

PythonでBeautifulSoupを使って、findを使って特定のclassのテキストを取得しようと思ったのですが、違うクラスの中の特定のクラスも取得してしまうので、二回findを使おうと思ったのですが、エラーが出てきてしまいました。 ソースコード <div class="hoge"> <div class="piyo"></div> <...
0
2 回答
1,937 閲覧数

スクレイピングで子を一つだけ取り除く方法。

.py from bs4 import BeautifulSoup # urlは例です url = 'https://example.com' response = requests.get(url) data = response.text soup = BeautifulSoup(data, 'html.parser') HTML <div class='ttt'> &...
  • 415
0
1 回答
297 閲覧数

pythonのスクレイピングがうまくいきません

https://ntp.msn.com/edge/ntp?locale=ja マイクロソフトエッジ↑ こちらのURLからニュースを取り出して表示させようとしたのですがBeautifulSoupがうまく動いていないのかエラーが発生します import requests from bs4 import BeautifulSoup load_url="https://ntp.msn.com/...
  • 1
0
1 回答
151 閲覧数

python beautifulsoup4でローカルにあるhtmlファイルの中の入力フォーム操作によって変動する結果を取得できますか?

ある作業で自動的に生成されるindex.htmlと付随するデータがあります。 index.htmlをPCのローカルフォルダ上から起動してブラウザに表示し、画面に表示される入力フォーム部分に検索条件の値を入力し、検索ボタンを押すと画面に表示されているリストが条件に一致するモノのみに絞り込まれる仕組みのあるhtmlとなっています。 このhtmlをbeautifulsoupを使ってローカルindex....
  • 122
0
1 回答
348 閲覧数

BeautifulSoupのfind_allで子要素は取得しない方法

beautifulsoup4==4.10.0 python==3.9.10 といった実行環境で行っています。 <tr align="center"> <td bgcolor="#b0c4de" width="20%">作品名</td> <th width="80%">&...
0
2 回答
1,225 閲覧数

Beautiful Soup4で動的なクラス名自体を取得するには?

BS4初心者、というかWebスクレイピング初心者です。 スクレイピング対象のサイトの作りが表データと表を説明するデータで構成されており、Pandasを使い表データ取得や加工等はできるようになったのですが、表以外のデータの取得も必要となりBeautifulSoup4を併用することで考えています。 取得する必要があるのは動的に変更となるclass名自体になります。 ...
0
2 回答
343 閲覧数

Python3とBeatifulSoup4を使ってhtmlからsvgを抜き取りました。svg画像としてExcelへ貼り付けるため、svgファイルとして保存する方法を教えてください。

soup = BeautifulSoup(html, "html.parser") svgs = soup.findAll('svg') svgs[1] # <----- .svgとしてsaveしたい
  • 1
0
1 回答
966 閲覧数

BeautifulSoup4がImportできない

IDLEにおいて以下のコードを入力するとエラー?が表示されます。解決策をご教示いただけますでしょうか。 from bs4 import BeautifulSoup soup = BeautifulSoup(html.centent, "html.parser") エラー? Traceback (most recent call last): File "/...
0
2 回答
1,483 閲覧数

BeautifulSoup4で空白文字を含んだclassの中身を取得したい

BeautifulSoup4でホームページから情報取得をする勉強をしているのですが空白を含んだclassを指定して取得する方法がわかりません。 具体例だと https://race.netkeiba.com/race/result.html?race_id=202006010810&rf=race_submenu の【後3F】の部分で、背景に色がついているものは'Time BgYellow'...
0
2 回答
1,771 閲覧数

Google検索結果のスクレイピングができない。

Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが 下記の疑問点が解決できないのでどなたか教えて下さい。 ①下記エラーを修正する方法を知りたい。 a = str(list[i]).strip('') IndexError: list index out of range ②titleとそのURLを取得する方法を知りたい。 参考にしたサイト https:...
  • 27
0
1 回答
925 閲覧数

複数のタグを指定してスクレイピング

あるurlのソースコードから、下記の2箇所を取得したいのですが、 結果のリストが空になってしまいます。 def get_all_reviews(url): rvw_list_text = [] res = requests.get(url) soup = bs4.BeautifulSoup(res.text, features='lxml') for r in ...
0
1 回答
847 閲覧数

python, BeautifulSoupでgoogle検索のタイトル取得できない

こちらのチュートリアルの通りにやっても、htmlのタイトル部分だけを取り出せません。 (python3.6, macos) import requests as web import bs4 import csv # キーワードを使って検索する list_keywd = ['機械学習','統計'] resp = web.get('https://www.google.co.jp/search?...
0
1 回答
1,047 閲覧数

PythonスクレイピングでGoogle検索画面情報取得

https://torahack.com/python-scraping-for-seo/ このサイトにあるように、 ①検索結果上位サイトのURLを取得 ②title,description等を抜き出す。 ③CSVで出力、ダウンロード ということをやりたいのですが、うまくいきません。 下記のGoogle colabファイルを作成実行したところ csvファイルが生成されるのですが、中身は空でした。...
  • 27
0
1 回答
4,959 閲覧数

BeautifulSoupで抽出したタグリストからテキストのみをリスト形式で抽出したい

from bs4 import BeautifulSoup r = requests.get("********************") soup = BeautifulSoup(r.content, "html.parser") class = soup.find_all("div", class_ = "word") このままだと、...
0
1 回答
167 閲覧数

取得した文字列の操作及び出力python

食べログのサイトから営業時間を取得し、平日/土日祝をそれぞれ開始日時と終了日時に分けてcsvに出力できればと考えています。 今の問題は 取得済みの平日/土日祝で別々のリストに入った文字列からxx:xxという時刻の文字列を取り出し出力すること。今のままだと1800みたくなってしまいます。findallで取得したものの中に":"や"~"という文字は除外されてしまうみたいです。 ”~”...
  • 9
0
1 回答
508 閲覧数

指定したレイヤーのみを範囲にスクレイピング

スクレイピングを行う範囲を指定したいなと思っています。 私が考えているのは、findなどを用いて部分的にlxmlを切り取ってから、それでまたスープを作るみたいなあやふやなビジョンしか今のところ考えつかずにいます。 <div id="foo"> <a href="*1"> <img src="*1.jpg" class="bar"/> ...
  • 91
0
2 回答
504 閲覧数

Pythonのbs4とrequestsを用いたスクレイピングでsrcsetに対応したい

BeautifulSoup4とRequestsでスクレイピングを行いたいのですが、 srcで検索をしてURLを取得してしまうと、想定よりも小さいサイズの画像ファイルがダウンロードされます。 これはHTMLのimgタグにあるsrcsetの影響です。 おそらく、自身がウィンドウサイズを指定できていないのが原因と考えています。 以上の点を踏まえて、...
  • 91
0
2 回答
4,643 閲覧数

beautifulsoupでbodyタグの中身が取得できない

スクレイピングをしたいのですが、 ここのサイトのbodyタグの中身をfindChirdrenで取得したいのですがnoneと表示され取得できません。 import requests from bs4 import BeautifulSoup def _get_page(url): #r変数に<!DOCTYPE html>から代入する。 r = ...
  • 1,053
0
1 回答
51 閲覧数

bs4のCSSセレクタでの要素抽出

xmlで1つのdocumentに対して、yearが2021であり,かつparagraphのtextにthirdが含まれていたら1つのdocumentに含まれるparagraphの全てのtextを抽出するというプログラムを作成しています.文字列検索条件では上手くできたのですが,year条件を含めると抽出すると"ABC"...
0
2 回答
200 閲覧数

BeautifulSoupで不要なタグを削除方法

下に記述したHTMLコードの中から『取得したい文字列』を取得するには<LI>・<a>ですが、 <LI>・<a> も<time>・<span>等があるため、省くことができません。 教えてください。 例: <li><a href="XXXXXXXXXX">取得したい文字列 <...
  • 3
0
5 回答
235 閲覧数

pythonのwebスクレイピングでタグのclassが入っていないタグを収集するには

code: blok[0].find_all('span') out [<span>(11/20 11:46)</span>, <span class="PhotoIcon"></span>, <span>(11/20 11:04)</span>, <span class="...
  • 3
0
1 回答
281 閲覧数

Beautiful Soup で 5GB のファイルを読み取り中、killed と表示されてしまう

5GBのxmlファイルを読み取り,soup-containsで1万行辺りのテキストファイルの数値がarticle-id_pmidだったら特定の文字列を含んだparagraphのテキストを抽出するというプログラムがあります. このプログラムではBeautiful Soupを用いてテキストを抽出しているのですが、それだとkilledと表示されてしまい、メモリ不足ではないかと思い、1....
0
1 回答
364 閲覧数

スクレイピングの文字化けを直したい

https://live23.5ch.net/test/read.cgi/livetbs/1220170942/ このurlのレスをスクレイピングしたいのですが以下のコードですると文字化けします。 res=requests.get("https://live23.5ch.net/test/read.cgi/livetbs/1220170942/") soup = ...
0
0 回答
156 閲覧数

同じPythonのソース(BS4でスクレイピング)でGoogleColaboratoryとJupyternotebookで実行結果が異なるのを解消したい

以下のソースで検索結果に表示されるaタグの中の[data-jk]属性情報を取得しています。Jupyter Notebookで実行すると、画面で確認した状態である検索結果15件と同じ「15」という結果になりますが、Google Colaboratoryで実行すると「2」という結果になります。 Google Colaboratoryでも、...
  • 1
0
0 回答
597 閲覧数

Pythonで「次へ」「次のページへ」 スクレイピングしたい

「次へ」「次のページへ」 をPythonのselenium,beutifulsoupで ユーザー名スクレイピングしたいです。 下記の方法で行いまたが、最初の1ページだけユーザー名スクレイピングされます。 次のページ行ってもスクレイピングするにはどのようにすればよろしいでしょうか。 HTML 「次へ」ボタン <button tabindex="-1" class="...
  • 435
0
1 回答
181 閲覧数

Beautifulsoupがimportできません。

conda install beautifulsoup4 を実行した後、from bs4 import Beautifulsoup を実行しようとしたところ、 Traceback (most recent call last): File "<stdin>", line 1, in <module> ImportError: cannot ...
  • 1
0
0 回答
362 閲覧数

Amazonの注文履歴履歴サイトのページ要素が取得できません

最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。 AmazonのトップページのURLを開く ログインする 注文履歴を開くボタンをクリックする 注文履歴内のデータを取得する この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って ...
0
0 回答
401 閲覧数

beautifulsoupでtimeタグが取得できない

python&beautifulsoupでtimeタグを取得しようとしてるのですが、色々試してもうまくいきません。コードは以下の状態です。 教えていただけるとありがたいです。 # coding: UTF-8 import urllib.request, urllib.error from bs4 import BeautifulSoup url = "https://xxx" ...
0
0 回答
526 閲覧数

Pythonでスクレイピングできない(一部しかできない)ページがあるので理由と取得方法を知りたい

Pythonでスクレイピングできない(一部しかできない)ページがある。 コードは下記の通り。 (progateのclass指定のあるh3タグの取得を実行している) import requests from bs4 import BeautifulSoup URL = "https://prog-8.com/" res = requests.get(URL) soup = ...
0
1 回答
108 閲覧数

スクレイピングである要素を新しい要素で挟む方法

今現在、beautifulsoup4を使ってスクレイピングを行っています。 やりたいこと <div class='ex1'></div> を<p id='good'>で挟む。 <p id='good'><div class='ex1'></div></p> HTML <html> <...
  • 415
0
1 回答
140 閲覧数

webの要素をスクレイプする際のfindallの使い方

下記のHTML構造を持つURLから、td要素のa,b,cを取得して1行に並ぶように以下scriptを作成したのですが、どうしてもdまで取得してしまい、且つ出力されるものが乱れてしまいます。 div要素を限定するのかもしれませんが、理想とする出力を得る方法をご教示いただけないでしょうか。 ■理想とする出力 URLのタイトル(1)、a,b,c,a',b',c',a'',b'',c'',a''',b''...
  • 15
0
1 回答
539 閲覧数

Python スクレイピング 同じ項目は同じ列に記載、異なる項目は新しく列を追加して記載する方法

当方初心者であり、申し訳ないのですが皆様のお知恵を拝借したいです。 いろいろ検索したのですが、良い方法(どこから手をつけるべきか)がわからず、 困っております。アドバイスいただけますと幸いです。 ページをスクレイピングして、CSVに下記のようなデータを書き出すプログラムを作りました。 a,b,d,x,テスト 3354,test,あいうえ,いろはに,12345 この時、...
  • 63