サイトをスクレイピングしてURLリストを作成するコードと、個別サイトの属性のみをスクレイピングするコードが実現できています。
URLリストには個別サイトのURLが記載されているのですが、URLリストのURLに順番に接続しそれぞれスクレイピングするにはどの様にすればよろしいでしょうか?お知恵をお貸しください。よろしくお願いいたします。
・URLを取得するコード
import requests, bs4
import codecs
import re
res = requests.get('https://****')
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, "html.parser")
elems = soup.select('.threadUrlInMetrics')
for elem in elems:
with open("abcd.txt", "w") as f:
print(elems, file=f)
file = r'abcd.txt'
with open(file) as f:
url_list = f.read()
pattern = "https?://[\w/:%#\$&\?\(\)~\.=\+\-]+"
text = url_list
url_list = re.findall(pattern, text)
print(url_list)
・個別のサイトをスクレイピングするコード
import requests, bs4
res = requests.get('https://***')
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, "html.parser")
elems = soup.select('.container')
for elem in elems:
print(elem)