やりたいこと
とあるサイトをスクレイピングしました。
データは取得しましたが、下記のコードのようにnicknameやidなどは通信状況を調べ、
json形式で取得しましたが、twitterURLはseleniumで取得しました。
そのため、片方はデータフレームであり、もう片方は辞書型となっております。
そこで辞書形式のデータのほうをデータフレームに変換した後、二つのデータをまとめたいと
思っているのですがうまくいきません。
どのようにすればうまくいくか教えていただけるとありがたいです。
試したこと
このような形で変換しようとしたがうまくいかなかった。
df2 = []
df2 = pd.DataFrame.from_dict(file, orient='index').T
実際のコード
import pandas as pd
import requests
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from time import sleep
from webdriver_manager.chrome import ChromeDriverManager
import re
import datetime
url_rank = 'https://jp-api.spooncast.net/ranks/fan/?date_type=daily'
headers = {'Content-Type': 'application/json'}
df = []
while url_rank:
json_data = requests.get(url_rank, headers=headers).json()
data = pd.DataFrame.from_records(i['author'] for i in json_data['results'])
df.append(data[['nickname', 'id']])
url_rank = json_data['next']
df = pd.concat(df).reset_index(drop=True)
browser = webdriver.Chrome(ChromeDriverManager().install()) #ブラウザ起動
file = []
for userid in df['id']:
spoon_url = 'https://www.spooncast.net/jp/profile/' + str(userid) + '/board?t=all'
#spoonURL取得
browser.get(spoon_url)
sleep(1.2)
WebDriverWait(browser, 15).until(EC.presence_of_all_elements_located)
Turlxpath = '//*[@id="root"]/div/main/div/div[1]/div[1]/div[1]/div[2]/div/div/ul/li/a'
try:
elem_TURL = browser.find_element_by_xpath(Turlxpath)
Twitterurl = elem_TURL.get_attribute("href")
except NoSuchElementException:
continue
details = {}
detum = details
detum['spoonURL'] = spoon_url
detum['TwitterURL'] = Twitterurl
file.append(detum)
df2 = []
df2 = pd.DataFrame.from_dict(file, orient='index').T
df2
print('csvファイル作成中')
info = pd.DataFrame(file)
csv_name = datetime.datetime.today().strftime("%Y%m%d%H%M")
csv = info.to_csv(csv_name + '.csv')
csv
print('Scraping終了')
エラーコード
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-41-5d5260dbdb39> in <module>
54
55 df2 = []
---> 56 df2 = pd.DataFrame.from_dict(file, orient='index').T
57
58
~\anaconda3\lib\site-packages\pandas\core\frame.py in from_dict(cls, data, orient, dtype, columns)
1361 if len(data) > 0:
1362 # TODO speed up Series case
-> 1363 if isinstance(list(data.values())[0], (Series, dict)):
1364 data = _from_nested_dict(data)
1365 else:
AttributeError: 'list' object has no attribute 'values'
file = []
とfile.append(detum)
なのだから、エラーメッセージのとおりfile
は辞書ではなく辞書のリスト
でしょう。だから使うのは.from_dict()
ではなく.json_normalize()
なのでは? [Python]辞書型リストをpandasのDataFrameに変換する, pandasのjson_normalizeで辞書のリストをDataFrameに変換 あるいは単に.DataFrame()
に入れるだけでも出来るかもしれませんが。試してみてください。