Skip to main content
タグを編集; タイトルを編集
リンク
cubick
  • 2.1万
  • 5
  • 27
  • 64

Twitter APIのリクエスト制限に対応するには?

本文に 39 文字追加; タイトルを編集
ソース リンク
yngstgy
  • 39
  • 1
  • 5

Twitter APIで複数回のリクエストをしたいがKey Errorを得た制限

Twitter APIで複数回のリクエストを繰り返してツイートを取得しようとしているのですが、リクエスト結果の`data'がKey Error制限なってしまいます。単発のリクエストではこのエラーは起きなかっなりましので、なぜKeyError。これを回避するためなったはどうすれば良いかわかりません。どなたか教えていただけると助かりただけますでしょうか

qimport json
from requests_oauthlib import OAuth1Session

twitter = OAuth1Session(consumer_key, consumer_secret, access_token_key, access_token_secret)

url = "https://api.twitter.com/2/tweets/search/all/prod.json"

#paramsに検索ワードや件数、日付などを入力
params = {'query':'(#abc)', 
        'start_time': "2017-10-17T00:00:00Z",
        'end_time': "2017-10-2018T00:00:00Z", 'tweet.fields':'created_at',  'max_results': '10'}

rb#上記で設定したパラメーターをget関数を使い指定URLから取得
res = apitwitter.requestget('tweets/search/all'url, q)

dfparams = pd.DataFrame(params)

#ステータスコードが正常値(200)だった場合の処理
if rbres.status_code == 200:

    #後でpandasで処理するためリスト化
    created_at = []
    text = []
    retweet_count = []
    favorite_count = []

    #100件を超えるデータ用に繰り返し処理で対応
    while True:
        res = apitwitter.requestget('tweets/search/all'url, qparams = params)
        tweets = res.json.loads(res.text)
        df_tweetstweet_list = pd.DataFrame(tweets['data'])["results"]
        df 
 = pd.concat([df, df_tweets])
     for tweet in tweet_list:
 

            created_at.append(tweet["created_at"]) #対象Tweetが11件以上となりnextページがある場合投稿日時
        if 'next_token' in tweets['meta']:
 text.append(tweet["text"]) #投稿本文
          token = retweet_count.append(tweet["retweet_count"]) tweets['meta']['next_token']#リツイート数
            q = {'query':'favorite_count.append(#abctweet["favorite_count"])',
    #いいね数
            user 'start_time':= "2017-10-17T00:00:00Ztweet["user";, ;]
  
        #対象Tweetが101件以上となりnextページがある場合
        'end_time':if ";2017-10-20T00:00:00Z;next",
  in tweets.keys():
           #nextの値をパラメータに追加する
   'tweet.fields':'created_at',
         params['next'] =  tweets["next"]
       'max_results': '10',
    print(params)
            tweet_list 'next_token':= token}tweets["results"]
        
        #nextページがない場合(100件以内の場合と最終ページ用)
        else:
            print("最終ページなので取得終了")
            break 

以下のエラーを得ようにリクエスト制限がかかりました。

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call{'title': last)
<ipython-input-55-285bd2be8d60>'Too inMany <module>Requests',
     32         res ='type': api.request('tweets/search/all'about:blank', q)
     33         tweets = res.json()
--->'status': 34         df_tweets = pd.DataFrame(tweets['data'])
     35         df = pd.concat([df29, df_tweets])
    'detail': 36'Too 

KeyError:Many 'dataRequests'}

Twitter APIで複数回のリクエストをしたいがKey Errorを得た

Twitter APIで複数回のリクエストを繰り返してツイートを取得しようとしているのですが、リクエスト結果の`data'がKey Errorなってしまいます。単発のリクエストではこのエラーは起きなかっので、なぜKeyErrorなったかわかりません。どなたか教えていただけると助かります。

q = {'query':'(#abc)', 
        'start_time': "2017-10-17T00:00:00Z",
        'end_time': "2017-10-20T00:00:00Z", 'tweet.fields':'created_at',  'max_results': '10'}

rb = api.request('tweets/search/all', q)

df= pd.DataFrame()

#ステータスコードが正常値(200)だった場合の処理
if rb.status_code == 200:

    #10件を超えるデータ用に繰り返し処理で対応
    while True:
        res = api.request('tweets/search/all', q)
        tweets = res.json()
        df_tweets = pd.DataFrame(tweets['data'])
        df = pd.concat([df, df_tweets])
        
 

         #対象Tweetが11件以上となりnextページがある場合
        if 'next_token' in tweets['meta']:
            token =  tweets['meta']['next_token']
            q = {'query':'(#abc)',
                 'start_time': "2017-10-17T00:00:00Z";, 
                 'end_time': ";2017-10-20T00:00:00Z",
                 'tweet.fields':'created_at',
                 'max_results': '10',
                 'next_token': token}
        
        #nextページがない場合(100件以内の場合と最終ページ用)
        else:
            print("最終ページなので取得終了")
            break 

以下のエラーを得ました。

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-55-285bd2be8d60> in <module>
     32         res = api.request('tweets/search/all', q)
     33         tweets = res.json()
---> 34         df_tweets = pd.DataFrame(tweets['data'])
     35         df = pd.concat([df, df_tweets])
     36 

KeyError: 'data'

Twitter APIでのリクエスト制限

Twitter APIで複数回のリクエストを繰り返してツイートを取得しようとしているのですが、リクエスト制限なりまし。これを回避するためはどうすれば良い教えていただけますでしょうか

import json
from requests_oauthlib import OAuth1Session

twitter = OAuth1Session(consumer_key, consumer_secret, access_token_key, access_token_secret)

url = "https://api.twitter.com/2/tweets/search/all/prod.json"

#paramsに検索ワードや件数、日付などを入力
params = {'query':'(#abc)', 
        'start_time': "2017-10-17T00:00:00Z",
        'end_time': "2017-10-18T00:00:00Z", 'tweet.fields':'created_at'}

#上記で設定したパラメーターをget関数を使い指定URLから取得
res = twitter.get(url, params = params)

if res.status_code == 200:

    #後でpandasで処理するためリスト化
    created_at = []
    text = []
    retweet_count = []
    favorite_count = []

    #100件を超えるデータ用に繰り返し処理で対応
    while True:
        res = twitter.get(url, params = params)
        tweets = json.loads(res.text)
        tweet_list = tweets["results"]
         
        for tweet in tweet_list:
            created_at.append(tweet["created_at"]) #投稿日時
            text.append(tweet["text"]) #投稿本文
            retweet_count.append(tweet["retweet_count"]) #リツイート数
            favorite_count.append(tweet["favorite_count"]) #いいね数
            user = tweet["user";]
 
        #対象Tweetが101件以上となりnextページがある場合
        if ";next"  in tweets.keys():
           #nextの値をパラメータに追加する
            params['next'] =  tweets["next"]
            print(params)
            tweet_list = tweets["results"]
        
        #nextページがない場合(100件以内の場合と最終ページ用)
        else:
            print("最終ページなので取得終了")
            break 

以下のようにリクエスト制限がかかりました。

{'title': 'Too Many Requests',
 'type': 'about:blank',
 'status': 429,
 'detail': 'Too Many Requests'}
タイトルを編集
リンク
htb
  • 2,027
  • 3
  • 15
  • 35

Python: Twitter APIで複数回のリクエストをしたいがKey Errorを得た

本文に 15 文字追加
ソース リンク
yngstgy
  • 39
  • 1
  • 5
読み込んでいます
タグを編集
ソース リンク
yngstgy
  • 39
  • 1
  • 5
読み込んでいます
本文に 90 文字追加
ソース リンク
yngstgy
  • 39
  • 1
  • 5
読み込んでいます
タグを編集
リンク
cubick
  • 2.1万
  • 5
  • 27
  • 64
読み込んでいます
ソース リンク
yngstgy
  • 39
  • 1
  • 5
読み込んでいます