0

会社名と会社の住所のリストからスクレイピングで会社のウェブサイトのURLとそのウェブサイトの中の問い合わせフォームのURLを抽出してCSVファイルに書き出すというコードを作りました。

しかし、以下のエラーが出てしまいます。

Traceback (most recent call last):   File
"/Users/user/Dropbox/python.py/open/240417/240417.py", line 6, in
<module>
    from duckduckgo_search import DDGS ModuleNotFoundError: No module named 'duckduckgo_search'

pip install duckduckgo_search を実行しても同じように上記のエラーが出てしまいます。

何が原因かわかる方いますでしょうか。

以下は実行したコード全文になります。

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
# duckduckgo_searchモジュールをインポートするためには、以下のようにインポート文を追加します
from duckduckgo_search import DDGS

def get_company_url(company_name):
    try:
        with DDGS() as ddgs:
            results = ddgs.text(
                keywords=company_name, 
                region='jp-jp',
                safesearch='moderate',
                time='y',
                max_results=5,
                user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
            )
        
        for result in results:
            if company_name in result:
                return result
        
        return None
    
    except Exception as e:
        print(f"Error occurred while searching for {company_name}")
        return None

def get_contact_url(company_url):
    try:
        response = requests.get(company_url)
        soup = BeautifulSoup(response.text, "html.parser")

        contact_link = soup.find("a", string=["お問い合わせ", "お問い合わせフォーム", "Contact", "contact form"])
        if contact_link:
            contact_url = contact_link.get("href")
            if not contact_url.startswith("http"):
                contact_url = company_url + contact_url
            return contact_url
        else:
            return None
    except Exception as e:
        print(f"Error occurred while scraping {company_url}")
        return None

df = pd.read_csv("company_list.csv")

results = []

for index, row in df.iterrows():
    company_name = row["会社名"]
    company_url = get_company_url(company_name)
    
    print(f"Company URL: {company_url}")
    
    if company_url:
        contact_url = get_contact_url(company_url)
        print(f"Contact URL: {contact_url}")
    else:
        contact_url = None
    
    result = {
        "会社名": company_name,
        "住所": row["住所"],
        "WebサイトURL": company_url,
        "問い合わせフォームURL": contact_url
    }
    results.append(result)
    
    time.sleep(3)  # 各会社の処理の間に3秒の待機時間を設ける

df_result = pd.DataFrame(results)
df_result.to_json("result.json", force_ascii=False)  # 結果をJSON形式で保存
1
  • どのような開発環境やツールの上で実行しているのか追記してみてください。それからpip show duckduckgo_searchあるいはpip show duckduckgo-searchを実行してモジュールがどのパスに存在するのか確認することと、こちらの記事やコメントに記載しているようにスクリプトにsys.pathを表示する処理を加えて、そこへのPythonのモジュール検索パスが通っているか等を確認してみてください。Mac(M1) pythonのimportエラーを解決したい。, Pythonモジュールのbs4をimport出来ません
    – kunif
    Commented 4月17日 15:22

1 件の回答 1

1

モジュールのインストールを以下のように実行してみてください。

pip install duckduckgo-search
2
  • コメントありがとうございます! pip install duckduckgo-search を実行してみても再度同じエラーが出てしまう形です。 何か前提としての準備が間違っている可能性などありますでしょうか。
    – Taka
    Commented 4月18日 2:46
  • 1
    こちら仮想環境にpyファイルを移動させて解決しました。ありがとうございます。
    – Taka
    Commented 4月18日 9:35

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。