2

Twitter APIで複数回のリクエストを繰り返してツイートを取得しようとしているのですが、リクエスト制限となりました。これを回避するためにはどうすれば良いのか教えていただけますでしょうか。

コードは以下の通りです。

import json
from requests_oauthlib import OAuth1Session

twitter = OAuth1Session(consumer_key, consumer_secret, access_token_key, access_token_secret)

url = "https://api.twitter.com/2/tweets/search/all/prod.json"

#paramsに検索ワードや件数、日付などを入力
params = {'query':'(#abc)', 
        'start_time': "2017-10-17T00:00:00Z",
        'end_time': "2017-10-18T00:00:00Z", 'tweet.fields':'created_at'}

#上記で設定したパラメーターをget関数を使い指定URLから取得
res = twitter.get(url, params = params)

if res.status_code == 200:

    #後でpandasで処理するためリスト化
    created_at = []
    text = []
    retweet_count = []
    favorite_count = []

    #100件を超えるデータ用に繰り返し処理で対応
    while True:
        res = twitter.get(url, params = params)
        tweets = json.loads(res.text)
        tweet_list = tweets["results"]
        
        for tweet in tweet_list:
            created_at.append(tweet["created_at"]) #投稿日時
            text.append(tweet["text"]) #投稿本文
            retweet_count.append(tweet["retweet_count"]) #リツイート数
            favorite_count.append(tweet["favorite_count"]) #いいね数
            user = tweet["user"]

        #対象Tweetが101件以上となりnextページがある場合
        if "next"  in tweets.keys():
           #nextの値をパラメータに追加する
            params['next'] =  tweets["next"]
            print(params)
            tweet_list = tweets["results"]
        
        #nextページがない場合(100件以内の場合と最終ページ用)
        else:
            print("最終ページなので取得終了")
            break 

以下のようにリクエスト制限がかかりました。

{'title': 'Too Many Requests',
 'type': 'about:blank',
 'status': 429,
 'detail': 'Too Many Requests'}
3
  • APIの利用制限にひっかかったのかもしれません。 res.json() の結果を見せていただけますか?
    – sei0o
    Commented 2021年6月14日 6:19
  • コードを少し変えてみましたが、やはり利用制限になっていたようです。調べてみたところ、"wait_on_rate_limit = True"を加えれば回避できるようなのですが、どこに入れれば良いのかわかりません。これを入れる場所または別の良い方法を知っていれば教えていただけると嬉しいです。
    – yngstgy
    Commented 2021年6月14日 14:06
  • wait_on_rate_limitはtweepyというライブラリのオプションであって、Twitter APIの機能ではないようです。回答をご覧ください。
    – sei0o
    Commented 2021年6月15日 2:25

1 件の回答 1

3

Too Many Requestsというメッセージから、Twitter APIの利用制限にひっかかっているとわかります。公式のドキュメントを見てみると、Rate limit(利用制限)という項には次のように書かれています("15-minute window"というのは、「過去15分間で」という意味です)。

App rate limit: 300 requests per 15-minute window
App rate limit: 1 request per second

利用制限や、その回避方法についてはドキュメントで詳しく解説されています。この場合、検索結果を一定期間保存しておいて、以降の同じクエリに対してAPIを呼び出さない方法が考えられます。開発の場面では試行錯誤を繰り返す間に制限にひっかかることもよくありますが、その場合は大人しく待つことになります。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。