リストの取り扱いと、CSV出力について、どうも理解が出来ず困っております。
スクレイピング結果をCSVに書き出す学習をしておりますが、sample_02.pyのコードで、リストをCSVに書き出すことができません。
どの様にすれば、CSVに書き出すことができるかお教えください。
writer.writerow([elem.text, elem.get("href")])
の部分で、取得したテキストとリンクが格納されていると思いますが、[elem.text, elem.get("href")
は、カンマで結合?区切られているということになるのでしょうか?
# sample_01.py
import csv
import requests
from bs4 import BeautifulSoup
url = "https://www.yahoo.co.jp/"
res = requests.get(url)
soup = BeautifulSoup(res.content, "html.parser")
topics = soup.find(id = "Topics")
# aタグのテキスト部分とhrefで取得したURLをCSV形式で書き出す
with open("info_01.csv", "w", newline="", encoding="utf_8") as w:
writer = csv.writer(w)
for elem in topics.find_all("a"):
writer.writerow([elem.text, elem.get("href")])
実行結果(成功)
臨時国会 法案成立率は95.5%NEW,https://news.yahoo.co.jp/pickup/6447265
被害者救済法が成立,https://news.yahoo.co.jp/pickup/6447261
来週は寒さ厳しく 西日本で雪恐れ,https://news.yahoo.co.jp/pickup/6447258
次に、配列の取り扱いの学習のため、elem.text
とelem.get("href")
以下の様に、一旦、配列に格納し、writerows
で一気に書き出す処理を行ってみましたが、うまくできません。
# sample_02.py
tag_li = []
link_li = []
with open("info-2.csv", "w", newline="", encoding="utf_8") as w:
writer = csv.writer(w)
for elem in topics.find_all("a"):
tag_li.append(elem.text)
link_li.append(elem.get("href"))
writer.writerows([tag_li, link_li])
実行結果(失敗 なぜ??)
臨時国会 法案成立率は95.5%NEW,被害者救済法が成立,来週は寒さ厳しく 西日本で雪恐れ,露、イランとドローン生産検討かNEW,工場で黄色いガス漏れ 付近に規制,奨学金650万円 返済終わりは50代,うるさい? 子連れ批判に医師訴えNEW,しらふのW杯 現地「意外に」好評NEW,かまくら出現12/10(土) 16:02共同通信,もっと見る,トピックス一覧
https://news.yahoo.co.jp/pickup/6447265,https://news.yahoo.co.jp/pickup/6447261,https://news.yahoo.co.jp/pickup/6447258,https://news.yahoo.co.jp/pickup/6447256,https://news.yahoo.co.jp/pickup/6447263,https://news.yahoo.co.jp/pickup/6447249,https://news.yahoo.co.jp/pickup/6447264,https://news.yahoo.co.jp/pickup/6447259,https://news.yahoo.co.jp/articles/b58cff17ed19d2c0d5e64db996d0ebddc5f2d07a/images/000,https://news.yahoo.co.jp/topics/top-picks,https://news.yahoo.co.jp/topics