すべての質問
90 件の質問
1
票
1
回答
776
閲覧数
LumenでS3にファイルを移動&コピーできない
LumenのStorageファサードを利用してS3にファイルを移動&コピーしたいのですが、コピーができません。エラーメッセージは以下です(今回は/var/www/html/storage/logs/lumen.logをコピーします、ファイルは存在します)。
File not found at path: lumen.log
filesystems.phpの中身は以下です。
<?...
0
票
1
回答
191
閲覧数
AWSでS3のs3fsの証明バージョン2から4にバージョンアップ手順について
AWSでS3のs3fsの証明バージョン2から4にバージョンアップする手順について、
教えていただけますでしょうか。
署名バージョン2のままですと、6月24日に廃止のためです。
S3バケット・オブジェクトにアクセスできなくなるためです。
追記
インストールは別の方が何年も前に対応しました。そのため、前任者の対応が不明の状態です。
その方に確認してみます。
以上、よろしくお願いいたします。
0
票
1
回答
198
閲覧数
aws cli のように s3 のパスを / 区切りでリストしたい
RubyでAWS S3のオブジェクトの一覧を取得してみた - Qiita
こちらを参考に s3 のバケットのリスティングはできたのですが
プレフィックス以下のすべてのオブジェクトが表示されてしまいます
S3の / はディレクトリではなく単なるパスなので当然ではあるんですが
bucket/aaa/111
/222
/bbb/333
/444
...
0
票
1
回答
430
閲覧数
s3へのpythonを使った大きいサイズのfileを大量にuploadする方法
s3へpythonを使って、1GBから5GBのファイルを100個単位でuploadしたいのですが、boto3で試してみたところ、uploadはされるのですが、3mbくらいのファイルがuploadされます。
どのようにすれば良いでしょう??
1
票
2
回答
1,120
閲覧数
S3のフォルダの数を取得したい
S3でフォルダの数だけ取得する事ってできますか?
例えば、
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_02/xxx.wav
jazz/chill/chord_03/xxx.wav
という構成の時に、
[jazz/chill/...
1
票
0
回答
628
閲覧数
Amazon EMRでS3に書き込みの際に503 Slow Downが発生する
Amazon EMRでPySparkを動かしています。
その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。
コードは以下の通りです。
s3_path = 's3://hoge/huga/'
df.write.format('parquet').mode('overwrite').save(s3_path)
インスタンスはマスタノード、...
2
票
2
回答
5,514
閲覧数
C#でAWS S3に画像アップロード、URL取得
アップロードは下記コードで成功しました。
アップロードしたファイルに
全員に公開と公開したURLを取得したいです。
公式リファレンスは英語で解読できません。
http://docs.aws.amazon.com/sdkfornet/v3/apidocs/Index.html
Google検索してもそのような情報はありませんでした。
using (TransferUtility ...
-1
票
1
回答
2,294
閲覧数
CloudFrontとS3の構成でExpiresが追加できません。
当方はフロントエンジニアでサーバー周りの知識は浅いです。
AWSのEC2でWordpressを使用しS3に保存した画像ファイルをにおいて、CloudFrontからキャッシュさせてたいのですが、ブラウザキャッシュについてExpiresが設定できずに困っています。
解決策もしくは、他のベストプラクティスなどがありましたらご教示ください。
■構成
Route53→CloudFront→S3(画像のみ)...
0
票
1
回答
95
閲覧数
開発環境、EC2環境で共通のコードで別の権限で S3 にアクセスしたい
ruby で aws-sdk gem を使って S3 にアクセスするプログラムがあるのですが
EC2 で動かす分には EC2 Role を割り当てて
Aws::S3::Client.new
と引数なしで動くのですが EC2 ではない開発環境でこのプログラムを動かしたとき
引数なしの s3 クライアントの credentials は何を参照するのでしょうか
...
5
票
1
回答
223
閲覧数
s3 に tramp で接続できるようにするには?
aws-cli で、 aws s3 ls や aws s3 cp を利用すれば、
原理的には tramp に乗せることができるような気がします。
内部で aws-cli をたたくことによって、 s3 へのアクセスを tramp で実現することはできますか?
できる場合、どうやったらこれは実現できますか?
(できる場合について、どう実現するのか、について)
もしこれが広すぎる質問ならば、...
6
票
1
回答
1,124
閲覧数
写真共有サービスのような大量の画像を扱うサーバー構成について
現在、インスタグラムのような写真共有アプリを作っています。
サーバーはConoHaを利用しています。
ConoHaのVPSではディスク容量が最大でも500GBまでしか増やせないのですが、仮に500GB近くまで容量がいった時、その場合はどのように対応するのが適切なのでしょうか?
もう一つVPSを増やすみたいなやり方なのか、それとも最初からVPSのディスクは利用せず、...
2
票
1
回答
2,829
閲覧数
AWSCLIで、s3のバケット内にある全バージョンのファイルを削除するコマンドはありますか?
S3のバケットを削除する必要があり、下記の処理をコマンドで実行したいです。
S3の管理画面からversionをhideからshowに変えて全てのバージョンを表示(http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/UG/managing-objects-versioned-bucket.html を参考)
全てのファイルを選択して削除
...
0
票
1
回答
2,086
閲覧数
Google Chromeでのamazon S3画像へのクロスドメイン接続
S3に配置された画像ファイルをクロスドメイン接続で取得したいのですがGoogle Chromeだけできません。
S3のCORSの設定には下記を設定しています。
<CORSConfiguration>
<CORSRule>
<AllowedOrigin>*</AllowedOrigin>
<AllowedMethod>...
0
票
1
回答
1,347
閲覧数
AWS SDK for C++ のAws::S3::S3Clientで発生するSEH Exceptionについて
お世話になります。
AWS SDK for C++ を使ってS3にファイルをアップロードする処理を書ています。
・コード
bool hoge()
{
Aws::Client::ClientConfiguration config;
config.region = "ap-northeast-1";
Aws::S3::S3Client ...
1
票
1
回答
639
閲覧数
Railsアプリケーション 画像・音声ファイルの置き場所について
Railsを使って管理者が画像ファイルや音声ファイルをアップして、それを第3者が確認できるというアプリを作っています。
機能としては、管理画面でアップしたものを別のトップページで確認できるというシンプルなものなのですが、ファイルの置き場所はどこに置くのが一般的なのでしょうか。
ファイルのアップにはCarrierwaveというgemを使っています。ファイルの保存先は/public/...
2
票
1
回答
2,236
閲覧数
node.js でS3からイメージファイルを取得したいが、s3.getObject で Forbidden 403 のエラーになる。
S3 にアップロードはできるのですが、node.jsで書いたサーバコードがgetObjectしてS3からファイルを取得しようと思ってるのですが403 Forbiddenエラーになります。
やりたいことはS3にアップロードした写真を読み込んで画面表示させたいのですが、肝心のS3からの画像の取得がうまくいきません。どなたかご教授願えたらと思っています。
どうぞよろしくお願いします。
...
0
票
2
回答
2,109
閲覧数
AWS EC2 S3 CloudFrontについて
現在WordpressをEC2とS3を合併して画像サイトを運営しているのですが、CloudFrontというのを使ったほうが良いのでしょうか?
調べるとCDNはただ単に高速表示させるということなのですが、転送量が多ければ料金が高いということです。
GETリクエスト数 平均ファイルサイズ データ転送量 転送料金 リクエスト料金 合計料金
3千万(100万/日) 100KB 2.8TB $574 ....
0
票
1
回答
4,998
閲覧数
S3へファイルアップロードしようとすると Missing required client configuration options: version
http://j-caw.co.jp/blog/?p=1100
上記のURLを参考にして、S3へのファイルアップロードを構築しようと考えていますが、以下のようなエラーが出てしまいます。
これは何が原因でしょうか??
Fatal error: Uncaught exception 'InvalidArgumentException' with message 'Missing required ...
0
票
1
回答
226
閲覧数
awsのREST リクエストの署名(verstion 2)と認証について
現在webサービスのフォーム値をawsのs3に保存しようとしているのですが,v2認証がうまくいきません.
awsのドキュメントでは以下の手順で署名を作成するように記述されています.
Authorization = "AWS" + " " + AWSAccessKeyId + ":" + Signature;
Signature = Base64( HMAC-SHA1( ...
4
票
1
回答
3,269
閲覧数
awsのs3は独自ドメインでssl対応できますか?
お名前.comでとっているドメインがあります。
ここではexample.comとします。
awsのs3に画像ファイルを置いて、https://img.example.com/というURLでアクセスできるようにしたいのですが、可能でしょうか。
s3は標準でsslに対応してるとの事なので、ネームサーバーの設定だけでいけるのかなと思っているのですが、やったことがないのでわかりません。
...
0
票
2
回答
4,882
閲覧数
curlでAmazon S3に画像をアップロードしたい
curlコマンドでS3に画像をアップロードしたいです。
その場合curlコマンドはどのように指定してあげれば良いのか分からずにいます。
テストしたcurlコマンド
curl -v -H 'Content-Type: application/json' -H 'Accept: application/json' -X POST -d '{"user" : {"image" : "@test....
1
票
0
回答
169
閲覧数
QNAPのObject Storage Serverを使っていますがコンテナの中身(リスト)が見れない
QNAPでObject Storage Server(OSS)を使っています。
他のLinuxでs3cmdをインストールしてアクセスしてみました。
QNAPでは
sample01
sample02
のコンテナがあります。両方ともPublicにしています。
# s3cmd ls
2009-02-03 16:45 s3://sample01
2009-02-03 16:45 s3://...
0
票
1
回答
3,886
閲覧数
AWSのS3にphpで画像をアップロード
以下のようなコードを書いているのですが、画像がS3にアップロードされません。
S3のURLは正常に出力されています。
詳しい方、ご教示ください。
//画像関連
$file = date('YmdHis') . $_FILES['top_img']['name'];
$img_tmp_name = $_FILES['top_img'][...
2
票
1
回答
89
閲覧数
s3のIP制御について
S3で画像を管理しているのですが、IPを制限して自分のサーバーからのみアクセス許可をしたいのですが、設定のconditionの中にIPを入れると403が返ってきてアクセスできません。conditionを外すと表示されます。
具体的に設定方法や確認すべき箇所、(あれば)必要なコマンドなどご教示いただけますでしょうか?
よろしくお願い致します。
{
"Version": "2012-10-...
0
票
1
回答
146
閲覧数
AWS S3互換環境から互換環境への移行
AWS S3互換のクラウドストレージはいくつかありますが、
このような環境同士で大量データを移行する際に安定して実行できる
方法またはアプリ、コードなどを教えていただけますか。
(S3互換→S3、S3互換→S3互換など)
以下のs3fsでマウント、aws cli syncでコピーが安定していそうですが、
記事にもあるように処理の制御に何か問題はないのか不安があります。
http://blog....
3
票
2
回答
1,454
閲覧数
s3fsとsambaを利用したファイルサーバーにMacから利用できない
同じ状況・解決された方がいましたら返信いただけますでしょうか。
Centos6の環境にs3fsを利用して、AWSのs3をマウントしたサーバーを用意し、
マウントしたディレクトリをsambaで共有設定を行う構成を作成しました。
windowsでアクセスをした際は問題なく操作が出来ますが、
Macから接続した際は、カスタムアクセス権が割り当てられているせいか、
「...
4
票
1
回答
4,124
閲覧数
ffmpegでs3上のファイルにアクセスしようとすると”Protocol not found"と言われる
現在、表題の問題に悩まされております。
PCローカル上の動画にターミナルよりffmpegで以下のコードを実行するときちんと成功し、ファイルが作られます。
% ffmpeg -i /Users/MacBookProMGX82JA/Desktop/mov_h264_aac.mov -vf trim=0:5 \
/Users/MacBookProMGX82JA/Desktop/...
0
票
2
回答
1,486
閲覧数
AWS SDK for PHPを使ってS3に画像をアップロードする
タイトル通りなのですが、CakePHP3にAWS SDK for PHPをインストールし、それを使ってAWSのS3にインストールしようしています。
<?php
namespace App\Controller;
require('/var/www/html/imagine/src/vendor/autoload.php');
use App\...
0
票
1
回答
99
閲覧数
s3 bucket を rubygems の置き場として取り扱うような方法・ライブラリはある?
docker には、 docker repository のバックエンドを s3 bucket にすることができます。 https://docs.docker.com/registry/storage-drivers/s3
ふと、同様のことが rubygems でも実現可能なのではないか、と思いました。
質問
rubygems.org のような、 gem ...
1
票
2
回答
626
閲覧数
HerokuからS3に画像をアップできません。
iOSからS3に画像をアップしたいです。本番環境はHerokuに置いてあり、画像だけをS3に保存したいです。開発はRailsで行っており、libraryはpaperclipを用いています。リンク先を参考にしましたが"status code: 500, headers"というエラーが帰ってくる状況です。 https://devcenter.heroku.com/articles/paperclip-...
3
票
1
回答
1,012
閲覧数
CarrierWaveでCrop処理をする際のversionsについて
下記環境で、アップロードした画像を任意の範囲でcroppingするための処理を実装していたのですが、メインの画像ファイルは意図した通りにcropできました。しかし、versionsでの処理が上手く行かなかったので質問させてください。
Rails 4.2.1
CarrierWave 0.10.0
試行するためのプロジェクトも公開しています。
https://github.com/kntmrkm/...
0
票
1
回答
1,099
閲覧数
CarrierWave::SanitizedFileの @original_filename の扱いについて
CarrierWaveのuploaderを持つVoiceというモデルがあり
class Voice < ActiveRecord::Base
mount_uploader :sound, SoundUploader
end
これにファイルのアップロードは正常に行えたようなのですが、CarrierWav::SanitizedFileの@...
2
票
1
回答
410
閲覧数
Wordpressで複数の画像をアップロードする際にエラー
AmazonS3とWordpressを連携させてWordpressにメディア画像をアップロードするとS3サーバに送られます。
50枚ほど複数アップロードすると、その中の2~5枚ほどがエラーになります。エラーになったjpgファイルは同じ容量サイズ(500kb)ほどあり、そのjpgURLを開くと
This XML file does not appear to have any style ...
1
票
0
回答
111
閲覧数
S3からRedShiftにcopyしてもデータが空になってしまう
S3からRedShiftにデータを格納したいのですが、データが空の状態で格納されてしまいます。
(サーバー情報など一部データを伏せております)
・S3に格納してあるデータ
{"message":"unixtime:1445847958\tdatetime:26/Oct/2015:17:25:58 +0900\tx-forwaded-for:****\thost:****\tsize:0\...
1
票
1
回答
469
閲覧数
rubyからaws-sdkを使おうとするとエラーが起こる
gem install aws-sdk-coreの後に以下の読み込むだけのコードを実行するとエラーになってしまします。
どこから原因を探せばよいのか、もしくはどうしたら解決するのかを教えていただけないでしょうか。
require 'rubygems'
require 'aws-sdk-core'
↓エラーメッセージ
/usr/local/lib/ruby/site_ruby/1.8/...
0
票
1
回答
65
閲覧数
awsのpolicyの作り方を教えてください
{
"Version": "2012-10-11",
"Id": "Policy1503119012324",
"Statement": [{
"Sid": "Stmt15031190096534",
"Effect": "Deny",
"Principal": "*",
"Action": "*",
"Resource": "arn:aws:...
-1
票
1
回答
177
閲覧数
AWS S3で静的WEBサイトを作ろうと思うのですが
書いた記事を予め用意したテンプレート【記事名.html】にコピペしてカテゴリ別に分けたディレクトリの下にアップロードして記事更新をしていこうと思うのですが、この時一般的なブログサービスとの違いは
サイトマップ
フィード
PING
などの投稿した際に各自反映される更新システムがあるのですが、これらを静的WEBサイトに取り組むにはどうすればいいでしょうか?
...
3
票
0
回答
266
閲覧数
forkしたHerokuリポジトリへpushできない
herokuにpushすると成功するリポジトリがあります。
これをフォークします。
% heroku fork -a app app-staging
フォークしたリポジトリへpushします。
% git remote add staging [email protected]:app-staging.git
% git push staging master --force
...
0
票
1
回答
100
閲覧数
Amazon CroudFront の使い所
現在, JavaScript/Image/CSS を S3 に置いて HTML だけは動的なため別サーバーにあるような作りのサイトを運営しています。
CroudFront を使えば、これらアセットをキャッシュできるので高速になる、というのはわかったのですが、実際の所、S3 でも十分な速度で低価格なのであまり CroudFront の必要性を感じることができません。
そこまで大規模でないサイトで ...
0
票
0
回答
100
閲覧数
Next.jsでsleep機能をexportしたい
AWSのS3とCloud Frontを用いて、静的Webサイトを公開します。
Next.jsで生成したサイトをアップしたのですが、ローディング画面が機能しません。
page.tsxにて以下のように記述したところ、ローカルでは2700ミリ秒待機してる間に、loading.tsxを表示してくれます。
const sleep = (msec: number) => new Promise((...