1

はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。

はてブのブックマーク

出来るだけseleniumは使用したくありません。

もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。

問題
まず課題として2つあります。

ログイン 最初のidとパスワード

javascriptによる無限ロードページですが、ページ数が書いてあるボタンが下部にあったのでそれが使えるかもしれません。

はてブ下部のボタン

どなたか詳しいエンジニアの方お力をお貸し頂けると幸いです。
よろしくお願いします。

2
  • 「自身のはてブデータを取得したい」であれば、設定から全データをエクスポートすることも可能ではありますが、あくまでスクレイピングが目的ということでよろしいですか?
    – cubick
    Commented 2018年10月21日 16:18
  • コメントありがとうございます。そちらも気になりますが、スクレピングの方を教えて頂きたいです。
    – wataru
    Commented 2018年10月21日 23:07

1 件の回答 1

1

はてなブックマークの場合は、requestsとbeatifulsoupを使ってスクレピングが可能です。課題については、次のようにして対応できると思います

課題1 ログイン 最初のidとパスワード

はてなブックマークのログインページに行き、ログインフォームのパラメータを調べる。しかし、ガードが掛かっているので、requestsではログインできませんでした。

課題2 javascriptによる無限ロードページですが、ページ数が書いてあるボタンが下部にあったのでそれが使えるかもしれません。

はてなブックマークのページは、基本はGETで取得できるので、それを使います。また、下部のページ数が書いてある場所を利用してページの情報を取得します。はてなブックマークのページは、公開されているブックマークは誰でも取得できるのでログインは必要ありません。

以下にコードのサンプルを書いておきます。

from bs4 import BeautifulSoup
import requests
from time import sleep

user = 'user'
url = 'http://b.hatena.ne.jp/' + user + '/bookmark'

r = requests.get(url)
page = 1

while True:
    soup = BeautifulSoup(r.text, 'html.parser')

    # ブックマークを取得するコードを書く

    # 「次のページ」がなくなると最終ページということを使用
    if soup.find_all(class_="centerarticle-pager-next"):
        page += 1
        r = s.get(url + '?page=' + str(page))
    else:
        break
    sleep(10)
5
  • ありがとうございます。早速試して見ます。あと少し気になるのですが、今回はページ下部にボタンがあったからよかったのですが、もしない場合でもrequestで作成することは可能ですか?
    – wataru
    Commented 2018年10月23日 9:08
  • JavaScriptの無限ロードページしかなければrequestsでは無理でseleniumが必要になります。seleniumを使うのが嫌な場合は、google puppeteerのpythonへの非公式移植版pyppeteerというのもあります。 Commented 2018年10月23日 10:01
  • selenium以外のものがあるのですね。知りませんでした。ありがとうございます。もしかしたなのですが、さっき見つけたスタックオーバーフローの質問でこれを使えばseleniumを使わなくても出来そうな気がするのですがいかがでしょうか?ja.stackoverflow.com/questions/23322/…
    – wataru
    Commented 2018年10月23日 12:51
  • 次の質問でログインができていないことに気づいたので、回答を修正しておきました。 Commented 2018年10月25日 1:44
  • ご丁寧にありがとうござます!まだ実行できていなくてすいません。
    – wataru
    Commented 2018年10月25日 12:30

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。