以下のコードでStreamlit上にrequests-htmlを用いたスクレイピング結果を表示したいのですが、エラーが表示されます。
Python及びスクレイピング等初心者で、どうやらStreamlit上で非同期処理を動かす上での問題であるように思われますが、解決の糸口が見えていない状態です。
最終的には、動的サイトのスクレイピング結果をStreamlit上に表示することを目指しており、可能であればrequests-htmlライブラリを使用して進めたいと考えています。
解決に向けた方法等ご教示いただければ幸いです。
エラーメッセージ:
File "C:\Users\...\venv\lib\site-packages\streamlit\runtime\scriptrunner\script_runner.py", line 565, in _run_script
exec(code, module.__dict__)
File "C:\Users\...\test_pyppeteer.py", line 30, in <module>
main()
File "C:\Users\...\test_pyppeteer.py", line 15, in main
response.html.render()
File "C:\Users\...\venv\lib\site-packages\requests_html.py", line 586, in render
self.browser = self.session.browser # Automatically create a event loop and browser
File "C:\Users\...\venv\lib\site-packages\requests_html.py", line 727, in browser
self.loop = asyncio.get_event_loop()
File "C:\Users\...\Python\Python310\lib\asyncio\events.py", line 656, in get_event_loop
raise RuntimeError('There is no current event loop in thread %r.'
現状のコード:
import streamlit as st
from requests_html import HTMLSession
from bs4 import BeautifulSoup
def main():
st.title('Web Scraping App')
url = st.text_input('Enter URL')
if url:
if st.button('Get HTML'):
st.write(f"Start fetching HTML from {url}...")
session = HTMLSession()
response = session.get(url)
response.html.render()
html = response.text
soup = BeautifulSoup(html, 'html.parser')
st.write(f'Site Title: {soup.title.string}')
paragraphs = soup.find_all('p')
for paragraph in paragraphs:
st.write(paragraph.text)
if __name__ == '__main__':
main()
streamlit hello
は起動できてますか? MyApp.py の "Hello world!" 表示などはどうですか?