0

以下のコードでStreamlit上にrequests-htmlを用いたスクレイピング結果を表示したいのですが、エラーが表示されます。

Python及びスクレイピング等初心者で、どうやらStreamlit上で非同期処理を動かす上での問題であるように思われますが、解決の糸口が見えていない状態です。

最終的には、動的サイトのスクレイピング結果をStreamlit上に表示することを目指しており、可能であればrequests-htmlライブラリを使用して進めたいと考えています。
解決に向けた方法等ご教示いただければ幸いです。

エラーメッセージ:

File "C:\Users\...\venv\lib\site-packages\streamlit\runtime\scriptrunner\script_runner.py", line 565, in _run_script
    exec(code, module.__dict__)
File "C:\Users\...\test_pyppeteer.py", line 30, in <module>
    main()
File "C:\Users\...\test_pyppeteer.py", line 15, in main
    response.html.render()
File "C:\Users\...\venv\lib\site-packages\requests_html.py", line 586, in render
    self.browser = self.session.browser  # Automatically create a event loop and browser
File "C:\Users\...\venv\lib\site-packages\requests_html.py", line 727, in browser
    self.loop = asyncio.get_event_loop()
File "C:\Users\...\Python\Python310\lib\asyncio\events.py", line 656, in get_event_loop
    raise RuntimeError('There is no current event loop in thread %r.'

現状のコード:

import streamlit as st
from requests_html import HTMLSession
from bs4 import BeautifulSoup

def main():
    st.title('Web Scraping App')

    url = st.text_input('Enter URL')
    if url:
        if st.button('Get HTML'):
            st.write(f"Start fetching HTML from {url}...")
            
            session = HTMLSession()
            response = session.get(url)
            response.html.render()
            html = response.text

            soup = BeautifulSoup(html, 'html.parser')
            st.write(f'Site Title: {soup.title.string}') 

            paragraphs = soup.find_all('p')
            for paragraph in paragraphs:
                st.write(paragraph.text)


if __name__ == '__main__':
    main()
2
  • Python及びスクレイピング等初心者, ということですが, streamlit hello は起動できてますか? MyApp.py の "Hello world!" 表示などはどうですか?
    – oriri
    Commented 2023年6月1日 13:56
  • コメントありがとうございます!streamlitの基本的な動作については確認できていると思います。streamlit上でrequests-htmlのhtml.render()を実行する際にのみエラーが発生している状態です。
    – Daiki
    Commented 2023年6月2日 14:02

1 件の回答 1

0

Requests-HTML が内部で使用している(らしい) pyppeteer

  • (元の)Puppeteer は Chromium をヘッドレスモード動かし, アプリから操作するパッケージで
  • Requests などと異なり JavaScriptを動かせる

ですがその仕組み上, Chromium とのプロセス間通信(と思しきものと), Streamlit で衝突が起きてる模様

非同期処理で行えば, (本来なら)大丈夫だと思われます
(Streamlit 使わず Pythonから実行できれば, Streamlit 移行も可能なはず)

import asyncio
# import streamlit as st
# from requests_html import HTMLSession
from requests_html import AsyncHTMLSession
from bs4 import BeautifulSoup

async def main():
    print('Web Scraping App')
    url = input('Enter URL')
    if url:
        if True:    # st.button('Get HTML'):
            print(f"Start fetching HTML from {url}...")

            with AsyncHTMLSession() as session:
                r = await session.get(url)
                await r.html.arender(sleep=1, keep_page=True)
                html = r.text
                r.close()

            soup = BeautifulSoup(html, 'html.parser')
            print(f'Site Title: {soup.title.string}')

            paragraphs = soup.find_all('p')
            for paragraph in paragraphs:
                print(paragraph.text)

if __name__ == '__main__':
    asyncio.run(main())    # main()

けれど, 終了時に問題が発生します (たぶんこれだと思われ)
atexit printing SystemExit exception and traceback #103512


手段?として考えられるのは

  • render() を諦める
  • 上記問題の解決を待ち, Streamlit へ移行する
  • Requests + pyppeteer を独自に扱う
    • pyppeteer は長くメンテされてなさそうなので Playwright を利用する

などです

1
  • 詳細なご回答ありがとうございます。自力ではたどり着けなかった知見でしたので、大変参考になりました。requests_html及びrender()を諦めて、Seleniumを活用する方向で進めていきたいと思います。
    – Daiki
    Commented 2023年6月4日 10:39

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。