1

見よう見まねでトライしてみたスクレイピングをcsv出力しようとしました。
しかし添付の画像のような出力にしかなりません。
エラーは特にでていませんが、どこをどう修正すれば良いかご教授いただけたら幸いです。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
from urllib import request
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import datetime
import time
import requests
import csv
import pandas as pd

START_DT_STR = '2021-12-01'
SEARCH_WORD  = 'python'
PRTIMES_URL  = 'https://prtimes.jp/'

start_dt = datetime.datetime.strptime(START_DT_STR, '%Y-%m-%d')

options=Options()
options.add_argument("--headless")
driver=webdriver.Chrome("/Users/tanaka.maru/Desktop/Python/chromedriver",options=options)
driver.get("https://www.google.com/")

driver = webdriver.Chrome('chromedriver',options=options)

#PR TIMESのトップページを開く
target_url = 'https://prtimes.jp/'   
driver.get(target_url)

driver.find_element("xpath",'/html/body/header/div/div[2]/div/input').click()

kensaku = driver.find_element("xpath",'/html/body/header/div/div[2]/div/input')
kensaku.send_keys(SEARCH_WORD)
kensaku.send_keys(Keys.ENTER)

cnt = 0
while True:
    try:
        driver.find_element_by_xpath("/html/body/main/section/section/div/div/a").click()
    except: 
        break
    html = driver.page_source
    soup = BeautifulSoup(html, "html.parser")
    #記事URLを取得(40件ずつ処理)
    articles = soup.find_all(class_='list-article__link')[cnt*40:]
    
    #記事情報を格納する配列
    
    #記事ごとの情報を取得
    for article in articles:
        article_time = article.find(class_='list-article__time')
                
        #csv関連
        eof_flag = False
        csv_date=datetime.datetime.today().strftime("%Y%m%d")
        csv_file_name = 'prtimes_' + csv_date + '.csv'
        f = open(csv_file_name, 'w', encoding='cp932',errors="ignore")
        writer=csv.writer(f, lineterminator='\n')
        csv_header=["title","sub_title","company","pubulished","category1"]
        writer.writerow(csv_header)

        try:
            str_to_dt = datetime.datetime.strptime(article_time.get('datetime'), '%Y-%m-%dT%H:%M:%S%z')
        except:
            try:
                article_time_cvt = article_time.get('datetime').replace('+09:00', '+0900')
                str_to_dt = datetime.datetime.strptime(article_time_cvt, '%Y-%m-%dT%H:%M:%S%z')
            except:
                str_to_dt = datetime.datetime.strptime(article_time.text, '%Y年%m月%d日 %H時%M分')

        article_time_dt = datetime.datetime(str_to_dt.year, str_to_dt.month, str_to_dt.day, str_to_dt.hour, str_to_dt.minute)
        
        if article_time_dt < start_dt:
            eof_flag = True 
            break

        relative_href = article["href"]
        url = urljoin(target_url, relative_href)

        r = requests.get(url)
        html = r.text
        soup = BeautifulSoup(html, "html.parser")
        
        records = []

        #記事タイトル
        title = soup.select_one("#main > div.content > article > div > header > h1").text
        
        sub_title_elem = soup.select_one("#main > div.content > article > div > header > h2")
        
        #サブタイトル

        if sub_title_elem:
            sub_title = sub_title_elem.text
        else:
            sub_title = ""
            
        company = soup.select_one('#main > div.content > article > div > header > div.release--info_wrapper > div.information-release > div').text
        
        published = soup.select_one('#main > div.content > article > div > header > div.release--info_wrapper > div.information-release > time').text
        
        category1= soup.select_one('#main > div.content > article > dl > dd:nth-child(4) > a:nth-child(1)').text
                
        records.append({'title':title,'sub_title':sub_title,'company':company,'published':published,'category1':category1})
        
        writer.writerow(records)

    if records:
        pass

    if eof_flag:
        break

    time.sleep(2)  
    cnt += 1

    f.close

画像の説明をここに入力

4
  • 「しかし添付の画像のような出力にしかなりません。」とのことですが、どうなることを想定して、実際にはどうだったのでしょうか?(添付画像はCSVファイルではないように見えますが)
    – merino
    Commented 2022年8月20日 7:07
  • また「Python CSV出力が上手くいきません。」とのことですので、「上手くいきません」なのはCSV出力についてでデータの取得自体は出来ている、との理解で合っていますでしょうか?
    – merino
    Commented 2022年8月20日 7:14
  • 早速の確認ありがとうございます。完成系のイメージの画像を添付してみました。
    – 田中丸
    Commented 2022年8月20日 7:21
  • 記載いただいております通り、データの取得はできているという認識でお間違えございません。ご確認どうぞよろしくお願いいたします。
    – 田中丸
    Commented 2022年8月20日 7:22

1 件の回答 1

0

ちなみに私の環境ではwhile True:の直後にdriver.find_element_by_xpath()click()する処理があると、最初の実行でexceptionによるbreakのため何も処理されずに終了しました。
try: ... except: breakの処理をwhile True:ループ内の最後に移動させると処理が出来るようになりました。参考までに。

それ以外の主な修正内容は以下になります。

  • 一番の原因は、記事毎のループの中で毎回csvファイルを'w'の新規オープン(同じ名前のファイルが既にあれば削除して再作成)しているからです。
    これでは最後の記事一個分のデータだけが入ったファイルしか出来ません。
    csvファイルをオープンするのなら、記事毎のループfor article in articles:の前に行い、また新規では無く'a'の追加書き込みでオープンしましょう。

  • csvの書き込みオブジェクトを通常の単純テキストのcsv.writer()にしていますが、記事毎の書き込み処理では辞書データを書き込もうとしているので合っていません。
    csv.DictWriter()を使いましょう。
    その場合、ヘッダーを書き込むにはDictWriter.writeheader()を使用します。
    ただしファイルを'a'の追加書き込みでオープンしていて、既にデータが存在する場合、常にヘッダーを書き込むと途中の行データとしてヘッダーが追記されてしまうので、ファイルをオープンした直後の何もしていない状態の時にf.tell()関数で現在位置を獲得し、それが0の時だけヘッダーを書くようにしましょう。

  • 細かいことですが、ヘッダー項目名文字列の中で4つ目の"pubulished"はスペルミスしています。正しくは"published"でしょう。

  • 記事毎のループfor article in articles:の中で、毎回recordsをリストとして初期化records = []して、記事から抽出したデータを辞書データとして1件だけ追加records.append({...})して、その直後にそのリストをcsvの行データとして書き込んでwriter.writerow(records)いますが、冗長だったりチグハグだったりします。
    csvへの書き込みと共に後々の処理のためにリストとしても残しておきたいなら、記事毎のループの中で毎回初期化するのは変ですし、記事の件数だけリスト化された辞書データならば、それ全体を毎回csvに書いていては、同じデータが何重にも書き込まれてしまいます。あと複数行(レコード)を書き出すのはwriter.writerows(records)という最後にsが付いた関数を使います。
    現在の1件の記事から抽出したデータをそのまま辞書データとしてリストに追加して、記事毎にそのリスト全体をcsvに書き出す処理は止めて、記事毎に1件の辞書データrecordを作成し、それを(関数名も変数名もsの付かない)writer.writerow(record)でcsvに書き込み、リストに残す必要があるならrecords.append(record)としてcsv書き込みとは別に処理した方が良いでしょう。

  • 記事毎のループfor article in articles:の後のif records:とその成立時のpassの処理が意味不明です。質問記事を書く際の質問事項に関係無い何かの処理が残っているのかもしれません。

  • 記事毎のループfor article in articles:の中でcsvファイルをopen()しているのに、そのループを抜けたwhile True:ループの最後でf.close()しているのは、処理のネスト(インデント)レベルが合っていません。
    まあ上記「一番の原因は」の指摘でopen()は記事毎のループfor article in articles:の前に移動させるので処理のレベルは大丈夫になりますが、まだif eof_flag:breakの処理が前にあるので、最後の記事を処理した後、明確にf.close()せずにwhile True:ループを抜けることになります。
    ということで、f.close()if eof_flag:の前に移動しましょう。

1
  • @kunif様 ありがとうございます!すごく助かりました。感謝いたします。
    – 田中丸
    Commented 2022年8月21日 8:41

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。