Twitter APIで複数回のリクエストを繰り返してツイートを取得しようとしているのですが、リクエスト結果の`data'がKey Error制限となってしまいます。単発のリクエストではこのエラーは起きなかっなりましたので、なぜKeyError。これを回避するためになったはどうすれば良いのかわかりません。どなたかか教えていただけると助かりただけますでしょうか。
qimport json
from requests_oauthlib import OAuth1Session
twitter = OAuth1Session(consumer_key, consumer_secret, access_token_key, access_token_secret)
url = "https://api.twitter.com/2/tweets/search/all/prod.json"
#paramsに検索ワードや件数、日付などを入力
params = {'query':'(#abc)',
'start_time': "2017-10-17T00:00:00Z",
'end_time': "2017-10-2018T00:00:00Z", 'tweet.fields':'created_at', 'max_results': '10'}
rb#上記で設定したパラメーターをget関数を使い指定URLから取得
res = apitwitter.requestget('tweets/search/all'url, q)
dfparams = pd.DataFrame(params)
#ステータスコードが正常値(200)だった場合の処理
if rbres.status_code == 200:
#後でpandasで処理するためリスト化
created_at = []
text = []
retweet_count = []
favorite_count = []
#100件を超えるデータ用に繰り返し処理で対応
while True:
res = apitwitter.requestget('tweets/search/all'url, qparams = params)
tweets = res.json.loads(res.text)
df_tweetstweet_list = pd.DataFrame(tweets['data'])["results"]
df
= pd.concat([df, df_tweets])
for tweet in tweet_list:
created_at.append(tweet["created_at"]) #対象Tweetが11件以上となりnextページがある場合投稿日時
if 'next_token' in tweets['meta']:
text.append(tweet["text"]) #投稿本文
token = retweet_count.append(tweet["retweet_count"]) tweets['meta']['next_token']#リツイート数
q = {'query':'favorite_count.append(#abctweet["favorite_count"])',
#いいね数
user 'start_time':= "2017-10-17T00:00:00Ztweet["user", ;]
#対象Tweetが101件以上となりnextページがある場合
'end_time':if "2017-10-20T00:00:00Z;next",
in tweets.keys():
#nextの値をパラメータに追加する
'tweet.fields':'created_at',
params['next'] = tweets["next"]
'max_results': '10',
print(params)
tweet_list 'next_token':= token}tweets["results"]
#nextページがない場合(100件以内の場合と最終ページ用)
else:
print("最終ページなので取得終了")
break
以下のエラーを得ようにリクエスト制限がかかりました。
---------------------------------------------------------------------------
KeyError Traceback (most recent call{'title': last)
<ipython-input-55-285bd2be8d60>'Too inMany <module>Requests',
32 res ='type': api.request('tweets/search/all'about:blank', q)
33 tweets = res.json()
--->'status': 34 df_tweets = pd.DataFrame(tweets['data'])
35 df = pd.concat([df29, df_tweets])
'detail': 36'Too
KeyError:Many 'dataRequests'}