1

やりたいこと

とあるサイトをスクレイピングしました。
データは取得しましたが、下記のコードのようにnicknameやidなどは通信状況を調べ、
json形式で取得しましたが、twitterURLはseleniumで取得しました。

そのため、片方はデータフレームであり、もう片方は辞書型となっております。
そこで辞書形式のデータのほうをデータフレームに変換した後、二つのデータをまとめたいと
思っているのですがうまくいきません。

どのようにすればうまくいくか教えていただけるとありがたいです。

試したこと
このような形で変換しようとしたがうまくいかなかった。
df2 = []
df2 = pd.DataFrame.from_dict(file, orient='index').T

実際のコード

import pandas as pd
import requests
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from time import sleep
from webdriver_manager.chrome import ChromeDriverManager
import re
import datetime

url_rank = 'https://jp-api.spooncast.net/ranks/fan/?date_type=daily'
headers = {'Content-Type': 'application/json'}

df = []
while url_rank:
  json_data = requests.get(url_rank, headers=headers).json()
  data = pd.DataFrame.from_records(i['author'] for i in json_data['results'])
  df.append(data[['nickname', 'id']])
  url_rank = json_data['next']

df = pd.concat(df).reset_index(drop=True)

browser = webdriver.Chrome(ChromeDriverManager().install()) #ブラウザ起動
file = []
for userid in df['id']:
    spoon_url = 'https://www.spooncast.net/jp/profile/' + str(userid) + '/board?t=all'
    
    #spoonURL取得
    browser.get(spoon_url)
    sleep(1.2)
    WebDriverWait(browser, 15).until(EC.presence_of_all_elements_located)
    
    
    Turlxpath = '//*[@id="root"]/div/main/div/div[1]/div[1]/div[1]/div[2]/div/div/ul/li/a'
    try:
        elem_TURL = browser.find_element_by_xpath(Turlxpath)
        Twitterurl = elem_TURL.get_attribute("href")
        
    except NoSuchElementException:
        continue
        
    details = {}
    detum = details
    
    
    detum['spoonURL'] = spoon_url
    detum['TwitterURL'] = Twitterurl
    
    file.append(detum)
    
    
df2 = []
df2 = pd.DataFrame.from_dict(file, orient='index').T    
    
      
df2


print('csvファイル作成中')
info = pd.DataFrame(file) 
csv_name = datetime.datetime.today().strftime("%Y%m%d%H%M")
csv = info.to_csv(csv_name + '.csv')
csv
print('Scraping終了')

エラーコード

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-41-5d5260dbdb39> in <module>
     54 
     55 df2 = []
---> 56 df2 = pd.DataFrame.from_dict(file, orient='index').T
     57 
     58 

~\anaconda3\lib\site-packages\pandas\core\frame.py in from_dict(cls, data, orient, dtype, columns)
   1361             if len(data) > 0:
   1362                 # TODO speed up Series case
-> 1363                 if isinstance(list(data.values())[0], (Series, dict)):
   1364                     data = _from_nested_dict(data)
   1365                 else:

AttributeError: 'list' object has no attribute 'values'
4
  • 2
    file = []file.append(detum)なのだから、エラーメッセージのとおりfileは辞書ではなく辞書のリストでしょう。だから使うのは.from_dict()ではなく.json_normalize()なのでは? [Python]辞書型リストをpandasのDataFrameに変換する, pandasのjson_normalizeで辞書のリストをDataFrameに変換 あるいは単に.DataFrame()に入れるだけでも出来るかもしれませんが。試してみてください。
    – kunif
    Commented 2021年9月14日 13:51
  • 1
    一応、いつもの方法でも Twitter の URL が取れますけど、どうしますか?
    – metropolis
    Commented 2021年9月14日 14:59
  • 無事実行できました。@kunif
    – zumo1224
    Commented 2021年9月14日 16:13
  • 本当ですか?是非教えていただけるとありがたいです。@metropolis
    – zumo1224
    Commented 2021年9月14日 16:14

1 件の回答 1

1

https://jp-api.spooncast.net/sns/ から SNS の URL を取得することができます。
ただ、ユーザ全員が URL を公表していないらしく、その様なユーザの場合は空欄にしています。
※ 一人だけ、Twitter ではなく YouTube の URL になっています

df = pd.concat(df).reset_index(drop=True)

# ここから
# SNS URL
file = []
for userid in df['id']:
  url = f'https://jp-api.spooncast.net/sns/{userid}'
  results = requests.get(url, headers=headers).json()['results']

  # SNS の URL を公表していない、もしくは持っていないユーザの場合、
  # results は空リストになっている
  Twitterurl = ''
  if results and 'sns_id' in results[0]:
    twitter = results[0]["sns_id"].replace('/@', '/')
    Twitterurl = f'https://{twitter}'

  file.append({
      'spoonURL': f'https://www.spooncast.net/jp/profile/{userid}/board?t=all',
    'TwitterURL': Twitterurl
  })

# merge dataframes
info = pd.concat([df, pd.DataFrame(file)], axis=1)
info.index += 1

print('csvファイル作成中')
import csv
csv_name = datetime.datetime.today().strftime("%Y%m%d%H%M")
info.to_csv(csv_name + '.csv', quoting=csv.QUOTE_NONNUMERIC)

print('Scraping終了')

実行結果(100ユーザの最初の10人)

print(info.to_markdown())

3
  • 無事実行できました。今回は自分でもこのやり方でできるよう通信状況からsnsのURLを探してみたのですが自分では見つけることができませんでした。 お手数ですが、今回もどのような流れで見つけたのか教えていただけますでしょうか?@metropolis
    – zumo1224
    Commented 2021年9月15日 2:43
  • 1
    @zumo1224 ユーザのプロフィール画面(例えば spooncast.net/jp/profile/314239954/board?t=all )にアクセスして、いつもの様に JavaScript の XHR 通信をみていたのですが、その中の jp-api.spooncast.net/sns/314239954 が目に付きました。URL に ja-apisns という文字列が入っていて、ユーザID(314239954)も付いていたので、これだろうと思ったわけです。
    – metropolis
    Commented 2021年9月15日 2:55
  • 見つけることができました。見落としていました。ありがとうございます。
    – zumo1224
    Commented 2021年9月15日 4:12

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。