DockerからUbuntuとChromedriverを使用してスクレイピングを行うとしても以下のエラーが出ます。
WebDriverException: Message: Service /usr/lib/chromium-browser/chromedriver unexpectedly exited. Status code was: 1
Dockerfileは以下の通りです。
FROM ubuntu:latest
RUN apt-get update && apt-get install -y sudo wget vim curl gawk make gcc
RUN wget https://repo.continuum.io/archive/Anaconda3-2019.03-Linux-x86_64.sh && \
sh Anaconda3-2019.03-Linux-x86_64.sh -b && \
rm -f Anaconda3-2019.03-Linux-x86_64.sh && \
sudo curl -sL https://deb.nodesource.com/setup_10.x | sudo bash - && \
sudo apt-get install -y nodejs
ENV PATH $PATH:/root/anaconda3/bin
RUN pip install --upgrade pip
RUN pip install pandas_datareader
RUN pip install mplfinance
RUN pip install -U selenium
RUN pip install gspread
RUN pip install datetime
RUN pip install requests
RUN pip install chromedriver-binary
#Chrome&Chromdriver
RUN apt install -y chromium-browser
RUN apt-get install chromium-chromedriver
RUN wget --quiet http://prdownloads.sourceforge.net/ta-lib/ta-lib-0.4.0-src.tar.gz -O ta-lib-0.4.0-src.tar.gz && \
tar xvf ta-lib-0.4.0-src.tar.gz && \
cd ta-lib/ && \
./configure --prefix=/usr && \
make && \
sudo make install && \
cd .. && \
pip install TA-Lib && \
rm -R ta-lib ta-lib-0.4.0-src.tar.gz
RUN mkdir /workspace
CMD ["jupyter-lab", "--ip=0.0.0.0","--port=8888" ,"--no-browser", "--allow-root", "--LabApp.token=''"]
Pythonでのスクレイピングは以下の通りです。
import pandas as pd
import selenium
from selenium import webdriver
#ブラウザから開く
#Linux仕様変更
Chrome_bin = "/usr/bin/chromium-browser"
Chrome_driver = '/usr/lib/chromium-browser/chromedriver'
options = Options()
options.binary_location = Chrome_bin
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
browser = webdriver.Chrome(executable_path=Chrome_driver,options=options)
browser.get('URL')
よろしくお願いします。