0

dockerコンテナ上にhadoopを実装しようとしています。

ディレクトリ構成としては以下のようにしています。

/tmp/hadoop-3.3.5.tar.gz
/tmp/base/Dockerfile

実行コマンドは以下です。/tmpにいる状態で実行。

docker build -t test-hadoop ./base

エラーは以下です。

failed to solve:process"/bin/sh -c tar -zxvf /tmp/hadoop-3.3.5.tar.gz"did not complete successfully:exit code:2

Dockerfileの内容です。

FROM openjdk:8
FROM ubuntu:22.04

ENV HADOOP_VERSION 3.3.5
ENV HADOOP_HOME=/hadoop-${HADOOP_VERSION}
ENV HADOOP_OPTS "-Djava.library.path=${HADOOP_HOME}/lib/native"
ENV HADOOP_PREFIX ${HADOOP_HOME}
ENV HADOOP_COMMON_HOME ${HADOOP_HOME}
ENV HADOOP_HDFS_HOME ${HADOOP_HOME}
ENV HADOOP_MAPRED_HOME ${HADOOP_HOME}
ENV HADOOP_YARN_HOME ${HADOOP_HOME}
ENV HADOOP_CONF_DIR ${HADOOP_HOME}/etc/hadoop
ENV YARN_CONF_DIR $HADOOP_PREFIX/etc/hadoop
ENV SPARK_HOME=/usr/local/lib/spark
ENV PATH=${HADOOP_HOME}/bin:${SPARK_HOME}/bin:$PATH

RUN apt-get update
RUN apt-get install -y --no-install-recommends ssh
RUN apt-get clean 
RUN tar -xzvf /tmp/hadoop-3.3.5.tar.gz

WORKDIR /hadoop-${HADOOP_VERSION}
COPY config ./etc/hadoop/
COPY start ./

RUN mkdir -p /run/sshd /data
RUN ssh-keygen -t rsa -P '' -f /root/.ssh/id_rsa 
RUN cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 
RUN chmod 0600 /root/.ssh/authorized_keys 
RUN hdfs namenode -format

CMD ["./start"]

どうすれば上記エラーが解消されるか教えていただきたいです。また、擬似分散モードで構築しようとしていますが、configファイル等は以下のような構成にしています。
/tmp/base/config/core-site.xml
/tmp/base/config/yarn-site.xml
/tmp/base/config/hadoop-env.sh
/tmp/base/start.sh
構成が正しくセットされているかも併せて教えていただけたら幸いです。
よろしくお願いします。

1
  • 質問内容を最新化しました。以前として変化ありません。
    – ashitaka
    5月11日 5:52

2 件の回答 2

0

tar コマンドのオプション (の並び順) を確認してください。

修正例:

tar -xzvf /tmp/hadoop-3.3.5.tar.gz

一般的な Linux コマンドのオプションは順不同な場合が多いですが、tar コマンドで - 直後の一つ目に指定できるオプションは決まりがあって、ここに z を指定するのは NG です。


(追記)
対象の tar アーカイブはローカルにある状態なので、Dockerfile 中でコンテナ内に予めコピーする必要がありそうです。

COPY hadoop-3.3.5.tar.gz /tmp
RUN tar -xzvf /tmp/hadoop-3.3.5.tar.gz

https://docs.docker.jp/engine/userguide/eng-image/dockerfile_best-practice.html#add-copy

3
  • Dockerfile内の文言を修正し、再実行しましたが、以前変わらずでした。
    – ashitaka
    5月10日 9:24
  • 手元にあったGNU tarとbsdtarは-zxvfを受け入れてました。ただし、質問者さんはDockerfileを開示していないのでどの実装のtarを選択されたのかわかりません。
    – sayuri
    5月10日 11:25
  • Dockerfile内にCOPY hadoop-3.3.5.tar.gz /tmpを追加しましたが、そこでエラーが起きてしまいました。エラー内容は「failed to compute cache key : failed to calculate checksum of ref moby :: vfqzzep5x62y8t40b6ymqq1lq: "/hadoop-3.3.5.tar.gz": not found」です。
    – ashitaka
    5月11日 1:26
-1
RUN tar -zxvf /tmp/hadoop-3.3.5.tar.gz

tarをフルパスで記述してください。

Dockerfileの内容が示されていなのでわかりませんが、それ以前の問題としてtarは存在していますか? 併せてgzipも存在していますか?

3
  • Dokerfileの内容です。
    – ashitaka
    5月10日 9:47
  • apache.org/dist/hadoop/common/hadoop-3.3.5 よりダウンロードし、/tmp/に格納しています。Dockerfileには「RUN tar -xzvf /tmp/hadoop-3.3.5.tar.gz」と記述しています。gzipの存在は確認していません。
    – ashitaka
    5月10日 9:55
  • @ashitaka 私がフルパスの記述を求めたのはhadoopのアーカイブでなく、tarの実行コマンドです。
    – sayuri
    5月10日 13:19

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。