0

URLの取扱銘柄一覧(テーブル)をスクレイピングをしたいのですが、
google colab取得ができません。どのように改善したらいいでしょうか。

import csv
import urllib.request
from bs4 import BeautifulSoup
import pandas as pd
urls = ['https://mxp1.monex.co.jp/mst/servlet/ITS/ucu/UsSymbolListGST?etf=0']

for url in urls:
  html = urllib.request.urlopen(url)
  bsObj = BeautifulSoup(html, "html.parser")
  table = bsObj.findAll("table", {"class":"table-block"})[0]
  tables = table.findAll("tr")
  print(tables)

  with open("america.csv", "w", encoding='utf-8') as file:
    writer = csv.writer(file)
    for row in tables:
        csvRow = []
        for cell in row.findAll(['td', 'th']):
            csvRow.append(cell.get_text())
        writer.writerow(csvRow)

pd.read_csv("america.csv")

また、全件取得(全ページ)するにはどのようにしたらよろしいでしょうか?
宜しくお願い致します。

2
  • 一応、curl -A 'Firefox/56.0' https://mxp1.monex.co.jp/mst/servlet/ITS/ucu/UsMeigaraJsonGST などとすれば JSON 形式で銘柄情報を取得できる様です。ただ、jq コマンドで処理しようとすると所々でフォーマットエラーになるのでクレンジングが必要でしょうね。
    – user39889
    Commented 2020年5月18日 16:40
  • metropolisさん、回答ありがとうございます。今の私のスキルでは難しそうなので勉強します。 Commented 2020年5月19日 0:25

1 件の回答 1

0

該当のページを見ると、JavaScriptのClickでページ移動しているようですので、seleniumが必要なのでは? 1回の表示が20銘柄なので個別株だけでも169回の取得が必要ですね。

seleniumでスクレイピング(次のページ対応)
Google Colaboratory(Colab)でスクレイピングするときのチートシート

該当ページ銘柄一覧のヘッダ部分
ヘッダ部

ページ移動部分のソース
スクリプト部

以前は取扱銘柄一覧のPDFが作られていたこともあったので、サポート窓口にそうした資料が入手できるか聞いてみた方が早いかもしれません。

1
  • kunifさん、ご回答ありがとうございます。窓口にも相談してみます。 Commented 2020年5月19日 0:26

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。