13
ここで言うApacheとはApache Software Foundation(アパッチソフトウェア財団)の事です。WEBサーバーとして有名なのはApache HTTP Serverですね。Apache Software FoundationはHTTP Serverの開発からスタートしましたが、今ではHTTP Server以外にも数十のオープンソースプロダクトを運営しています。Apache Hadoopもその内のひとつです。
4
parentディレクトリを削除できる権限は、parentのパーミッションやオーナーではなく、parentが入っているディレクトリ(parentの親ディレクトリ)のパーミッションやオーナーで決まるのではないでしょうか。
2
こちらSQLの実行エンジンはHiveということでよいでしょうか。
このクエリをサブクエリとして使うのでなければ下記のように書けば動くと思います。
Select
*
, Cast(Concat(Substr(timestamp, 1, 4), '-', Substr(timestamp, 5, 2), '-', Substr(timestamp, 7, 2), ' ', Substr(timestamp, 9, 2), ':', Substr(timestamp, 11, 2), ':', Substr(timestamp, 13, 2)) As timestamp) As fcd_timestamp
From
test
Where
st='${env:20151001}'
And '${env:...
1
map や reduce は各ノードで実行されるので、streaming を使う場合、mapper や reducer は明示的に転送してやる必要があったはずです。-mapper "/tmp/map.rb" -reducer "/tmp/reduce.rb" の代わりに -file "/tmp/map.rb" -mapper "map.rb" -file "/tmp/reduce.rb" -reducer "reduce.rb" としたら、どうでしょうか。
あと気になったのが、-output で指定するのはディレクトリです。指定したディレクトリがHDFSに自動的に作成され(既にあるとエラー)、結果が part-r-00000 のようなファイル名で保存されます。
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります