3

やりたいこと
下記のサイトのランキングをスクレイピングするために,
通信状況を調べjsonファイルからデータを取得しようと考えています。

https://www.spooncast.net/jp/ranking/topfan?date_type=daily

実際のコード
下記のコードを実行しましたがエラーになりました。

import pandas as pd
import requests

url_rank = ('https://jp-api.spooncast.net/ranks/fan/?date_type=daily')

headers = {'Content-Type': 'application/json'}
r = requests.get(url_rank, headers=headers)
users = pd.DataFrame.from_dict(r.json()['results']['author'])
users = users[['nickname', 'profile_url']]
        

エラー内容

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-17-0958c513ae04> in <module>
      4 headers = {'Content-Type': 'application/json'}
      5 r = requests.get(url_rank, headers=headers)
----> 6 users = pd.DataFrame.from_dict(r.json()['results']['author'])
      7 users = users[['nickname', 'profile_url']]
      8 

TypeError: list indices must be integers or slices, not str

strではなく整数かスライスでなければならないと書かれていますが、よくわかりません。
原因と解決策を教えていただけると嬉しいです。

また、このサイトはランキングが一つのリンクにまとまっておらず、4つに分かれています。
https://jp-api.spooncast.net/ranks/fan/?date_type=daily
https://jp-api.spooncast.net/ranks/fan/?cursor=cD0zMA%3D%3D&date_type=daily
https://jp-api.spooncast.net/ranks/fan/?cursor=cD02MA%3D%3D&date_type=daily
https://jp-api.spooncast.net/ranks/fan/?cursor=cD05MA%3D%3D&date_type=daily

開発者ツールについて使い慣れていないからかもしれませんが、これらの情報を一つに取得する方法はないのでしょうか?
それとも取得したデータを結合するとかしないとだめでしょうか?

宜しくお願いします。

0

1 件の回答 1

4

strではなく整数かスライスでなければならないと書かれていますが、よくわかりません。原因と解決策を教えていただけると嬉しいです。

エラーメッセージ list indices must be ... にある通り、r.json()['results'] は辞書(dict)のリストになっています。なので、list comprehension か map で中身の dict を取り出す必要があります。具体的には以下の様にします。

  users = pd.DataFrame.from_records(i['author'] for i in r.json()['results'])

また、このサイトはランキングが一つのリンクにまとまっておらず、4つに分かれています。

開発者ツールについて使い慣れていないからかもしれませんが、これらの情報を一つに取得する方法はないのでしょうか?
それとも取得したデータを結合するとかしないとだめでしょうか?

JSON データに next というタグが存在します。ここに次のランキングデータへの URL が格納されています。なので、この URL を辿って行きます。最後の JSON データの next タグには空文字列("")が入っているので、これを繰り返し処理の終了条件とします(単方向のリンクリストを辿る処理と同じです)。

import pandas as pd
import requests

url_rank = 'https://jp-api.spooncast.net/ranks/fan/?date_type=daily'
headers = {'Content-Type': 'application/json'}

users = []
while url_rank:
  json_data = requests.get(url_rank, headers=headers).json()
  data = pd.DataFrame.from_records(i['author'] for i in json_data['results'])
  users.append(data[['nickname', 'profile_url']])
  url_rank = json_data['next']

users = pd.concat(users).reset_index(drop=True)

実行結果

print(users.to_markdown(index=False))

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。