URLの取扱銘柄一覧(テーブル)をスクレイピングをしたいのですが、
google colab取得ができません。どのように改善したらいいでしょうか。
import csv
import urllib.request
from bs4 import BeautifulSoup
import pandas as pd
urls = ['https://mxp1.monex.co.jp/mst/servlet/ITS/ucu/UsSymbolListGST?etf=0']
for url in urls:
html = urllib.request.urlopen(url)
bsObj = BeautifulSoup(html, "html.parser")
table = bsObj.findAll("table", {"class":"table-block"})[0]
tables = table.findAll("tr")
print(tables)
with open("america.csv", "w", encoding='utf-8') as file:
writer = csv.writer(file)
for row in tables:
csvRow = []
for cell in row.findAll(['td', 'th']):
csvRow.append(cell.get_text())
writer.writerow(csvRow)
pd.read_csv("america.csv")
また、全件取得(全ページ)するにはどのようにしたらよろしいでしょうか?
宜しくお願い致します。
curl -A 'Firefox/56.0' https://mxp1.monex.co.jp/mst/servlet/ITS/ucu/UsMeigaraJsonGST
などとすれば JSON 形式で銘柄情報を取得できる様です。ただ、jq コマンドで処理しようとすると所々でフォーマットエラーになるのでクレンジングが必要でしょうね。