0

「食べログ」から営業時間を取得し、それを平日と土日に分けて

平日開始時刻, 平日終了時刻, 土日祝開始時刻, 土日祝日終了時刻, 定休日

というようにcsvに出力したいです。

今のところpandasを使ってcsvに出力をしようと考えています。
どうやれば上手く平日土日を判別して、またそれを区切って出力できるかがわかりません。
宜しくお願いします。

<kunifさんより>

# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import re
newlines = re.compile(r'\n{2,}')

def scrape_info(soup_table):
  """
  基本情報の抽出
  """
  global newlines
  soup_telnum = soup_table.find("strong", class_="rstinfo-table__tel-num")
  soup_address = soup_table.find("p", class_="rstinfo-table__address")
  soup_tr_list = soup_table.find_all("tr")
  for soup_tr in soup_tr_list:
    if soup_tr.th.string in {"店名", "営業時間"}:
      item = ''
      if (soup_tr.th.string == "店名"):
        item = soup_tr.td.get_text().strip()
      else:
        item = newlines.sub("\n", soup_tr.td.get_text("\n").strip())
      print(item)
  print(soup_telnum.get_text())
  print(soup_address.get_text())
  return

def scrape_item(item_url):
  """
  個別情報ページのパーシング
  """
  r = requests.get(item_url)
  if r.status_code != requests.codes.ok:
    print(f"error:not found{item_url}")
    return
  soup = BeautifulSoup(r.content, 'lxml')
  soup_table = soup.find("table", class_="rstinfo-table__table")
  scrape_info(soup_table)
  return

scrape_item('https://tabelog.com/tokyo/A1303/A130301/13182370/')
7
  • 食べログのページを何件か見てみたのですが、営業時間の欄のフォーマットに統一感がないように見えました。なので、どんなお店のページにも対応するプログラムを作ることは難しいような気がしています。同じフォーマットのページだけを対象にするならやりようはあるかと。
    – mk55
    Commented 2019年3月13日 15:05
  • 1
    提示されたコードは過去質問に付いた 回答 をそのまま利用されているようですが、出来れば出典を明記すべきなのと、元質問がもし解決したのであれば 承認 をしてあげてください。回答してくれた人へのリスペクトを忘れずに。
    – cubick
    Commented 2019年3月13日 15:46
  • 元々の紹介記事を見易く編集し直したものを見つけました。python - スクレイピング | tadashi000000 収集結果の営業時間表記には、何かのルールや法則があるようには見えません。データを入力する人の時々の判断に任されているようです。多大な労力を掛けて機械学習に通してみるとかが必要になるかも? 人間がコロンブスの卵的アイデアがひらめけば何とかなるかもしれませんが、それもいつになるかはわかりません。
    – kunif
    Commented 2019年3月14日 1:26
  • 確かにフォーマットに完全な法則は無いのですけど、例えば【土日祝】とか土・日という文字列が来た場合に文字列を分断して出力するとか、その範囲の数字だけ抜き取って二つ以上の塊があった場合別々に出力とかって可能ですか?
    – IHL
    Commented 2019年3月14日 5:28
  • 今直ぐ、は無理でしょうが、有限なデータでしょうから、着手して続けていけば、いずれは出来るのでは? 紹介記事のように、まずは多くのデータを入手して、ザッと眺めて処理を試行錯誤してみてはどうでしょう? 生データをそのまま完璧に処理するのではなく、フォーマットを揃える等の前処理を何段階か組み込んでも一向に構わないと考えられますし。
    – kunif
    Commented 2019年3月14日 6:08

1 件の回答 1

0

クローズされようとしているところに蛇足かもしれませんが。

解決策では無いですが、1つのアイデアとして、「営業時間」「定休日」のテキストをプログラミング言語または設定情報ファイルのソースコードに見立てて処理してみる、というのが考えられます。
先ずは何らかの最小限のルールや法則があると仮定して、処理系を作り、そこから外れる記述については、前処理・補完処理・例外処理など加えて改良していけば良いと思われます。

最終結果は、1週間(24時間×7日間)の営業時間&定休日をあらわすグラフを作成できるようなデータが出力されることを目標にすれば良いでしょう。
そこまでやれば、そこからさらに抽象化して、「平日開始時刻, 平日終了時刻, 土日祝開始時刻, 土日祝日終了時刻, 定休日」のデータを作成するのは、それほど難しくないのでは?

ちょっとした単語しか知らないのでイメージでしか無いですが、ドメイン固有言語とかデータ記述言語と呼ばれる仕組みに似ているでしょう。

以下のようなコンパイラ作成のためのツールが応用できるのではないでしょうか?

PLY (Python Lex-Yacc) / SLY (Sly Lex-Yacc)

Lark - a modern parsing library for Python / Python 構文解析ライブラリLarkを使って簡単な自作言語処理系をつくる

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。