7
票
Accepted
写真共有サービスのような大量の画像を扱うサーバー構成について
クラウド上に構築する方法で手軽なものは、記載されている通りS3などを利用する方法です。
速度には確かに制限がありますが、S3の東京リージョン・標準ストレージでこれまで数年日本市場向けに動画のストリーム配信を行ってきた限りでは、特に遅いと感じることはありませんでした。経験上、クライアント側が太い回線であれば10Mbps程度はでます。(東京であればレイテンシも非常に小さいです)
...
4
票
Accepted
AWSCLIで、s3のバケット内にある全バージョンのファイルを削除するコマンドはありますか?
バージョンを有効にしたS3バケットを削除する際は、ライフサイクル設定により全バージョンファイルが消えるよう設定する必要があります。
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/delete-or-empty-bucket.html#delete-bucket-lifecycle
...
4
票
awsのs3は独自ドメインでssl対応できますか?
残念ながらS3ではできないですね。
S3の手前にCloudFrontを利用してはどうでしょうか?CloudFrontは独自ドメイン名の証明書を割り当てる仕組みもあります。
この場合の注意点は、CloudFrontのデフォルトキャッシュ期間は24時間のため、そのままですと24時間以内の変更が反映されない場合が出てきます。...
4
票
Accepted
Amazon S3 からファイルを直接ダウンロードするようなWebAPIはどのように作れば良いか?
AWS SDK for .NETのAmazon.S3.Transfer.TransferUtilityクラスにはDownloadメソッドのほかにOpenStreamメソッドが用意されています。こちらを使用して得られたstreamをWebAPIのレスポンスに渡せば、ASP.NET側がストリーム間コピーをしてくれるはずです。
全く別のアプローチで、AWS S3にはpresigned ...
3
票
s3のIP制御について
特定の IP アドレスへのアクセスの制限にも例がある通りであり、質問文に記載された範囲では問題なさそうです。1点、質問文に記載されていない範囲で気になりました。IPアドレス条件演算子の説明に
IP アドレス条件演算子では、キーと IPv4 または IPv6 アドレスまたは IP アドレス範囲の比較に基づいてアクセスを制限する Condition 要素を構築できます。 これらを aws:...
3
票
HerokuからS3に画像をアップできません。
500エラーなのでサーバー側(Rails側)でなんらかのエラーが発生しているんだと思います。
Herokuのサーバーログを見ると詳細なエラーメッセージやスタックトレースが載っているはずです。まずそれを確認してください。
エラーメッセージやスタックトレースをじっくり確認すれば、この問題も自己解決するかもしれません。
解決した場合は原因と解決策を自分で回答してください。
解決しなければログの内容と、...
3
票
C#でAWS S3に画像アップロード、URL取得
.NET SDKのリファレンスは英語のみですが、S3のドキュメントは日本語になっているので、読みやすいと思います。以下のURLにC#でのファイルアップロード方法の説明やサンプルが載っています。
http://docs.aws.amazon.com/AmazonS3/latest/dev/HLuploadFileDotNet.html
S3 はパーミッションで公開する設定をするか、Bucket ...
3
票
Accepted
Wordpressで複数の画像をアップロードする際にエラー
自己解決しました。
/etc/php-fpm.d/www.conf
で
pm.max_spare_servers = 5
pm.max_children = 5
を
pm.max_spare_servers = 15
pm.max_children = 15
にしたら治りました。英語版StackOverflowに書いてありました。
There are many possible ...
3
票
S3サーバーからEC2サーバーにファイルをダウンロードしたい。
はい、LaravelでもS3のデータをローデータのまま読み書きすることができます。
AWS SDK for PHPを利用する方法でももちろん可能ですが、Laravelに備わっているFile Storage機能を利用するとローカルストレージの読み書きと同様の方法で操作できるため手軽です。
公式ドキュメント(英語)
日本語訳
詳細はドキュメントをご確認頂ければと思いますが、おおまかには
...
3
票
Accepted
S3の署名付きURLにInternet Explorerでアクセスすると「このページを表示できません」エラーになる
恐らく Internet Explorer における制限が原因ではないかと思われます。
Internet Explorer では URL に最大 2,083 文字が使用可能
Microsoft Internet Explorer には、2,083 文字の最大の Uniform Resource Locator (URL) があります。 Internet Explorerには、2,048 ...
2
票
rubyからaws-sdkを使おうとするとエラーが起こる
Rubyの実行バージョンが古いので新しいハッシュ記法の対応していないようです。
参考: http://qiita.com/yukimura1227/items/8c972efb27667dfac5cd#2-3
まずは Rubyのバージョンを上げて(最低でも1.9以上、できれば最新の2.2.2)、もう一度試してみてください。
2
票
Accepted
Amazon CroudFront の使い所
世界中のいろんな場所からアクセスされる可能性があり、かつどの場所にも高速にアセットを配信したい場合には、CloudFrontを使うと良いでしょう。
S3はリージョンへのアクセスになりますから、たとえば東京リージョンのS3を使用した場合、太平洋を渡ったアメリカ西海岸からアクセスすると、どうしても転送にかかる時間の分は遅くなってしまいます。
ソレに対してCloudFrontでは、...
2
票
Accepted
C#でAWS S3に画像アップロード、URL取得
アップロードしたファイルをHTTPで公開する場合は、S3バケットを「静的Webサイト」として設定します。※設定方法等はドキュメントをご覧いただくとして手順は省かせて頂きます
静的Webサイトとして設定したS3バケットは<bucket-name>.s3-website-<AWS-region>.amazonaws.comというURLでアクセス出来ます。<bucket-...
2
票
S3へファイルアップロードしようとすると Missing required client configuration options: version
Fatal error: Uncaught exception 'FooException' with message 'yyy' in ...
上記のような形式のエラーは、FooException という例外が発生したが、try..catchブロックで処理されなかった、ということを表します。重要なのは with message 'yyy' の部分で、...
2
票
Railsアプリケーション 画像・音声ファイルの置き場所について
herokuはDynoが再起動した時およびアイドル状態になった時にファイルが削除されてしまいますので、Amazon S3のような外部ストレージを使うしか方法がありません。
独自サーバーやVPSなどに本番環境を置く場合でも画像や音声のデータをユーザーが投稿できる場合はファイルの容量の増加の程度が予測しづらいため、やはりS3を使ったほうがいいでしょう。
2
票
Lambdaを使ってindex.htmlの自動生成について
管理コンソールからやAWS CLIを利用してのアップロードでは、元ファイルの拡張子を元に自動的に Content-Type を付与しますが、Boto3 ではそのような処理がないため、付与する必要があります。
例えば put_object を使う場合だと、ContentType='text/html' の引数を付与して実行してください。
http://boto3.readthedocs.io/...
2
票
s3 に tramp で接続できるようにするには?
s3edという、EmacsからAmazon S3上のファイルを編集するためのラッパー的ツールがあります。これは、(trampではなく)/tmp/s3ed/というディレクトリに一旦ファイルをダウンロードして、保存時にS3にアップロードするようです。
S3ed will use /tmp/s3ed/ as scratch space
mattusifer/s3ed: An ...
2
票
Accepted
LumenでS3にファイルを移動&コピーできない
コメント欄にあるように、以下の方法で対応を行いましたので、自己回答をいたします。
メッセージから推測するに move は S3バケット内でオブジェクトを移動するのではと思います。putしてからローカル上のファイルを削除すれば良さそうです。
2
票
Accepted
開発環境、EC2環境で共通のコードで別の権限で S3 にアクセスしたい
https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/setup-config.html#aws-ruby-sdk-credentials-environment
上記に記述がありますが、 AWS_ACCESS_KEY_ID 環境変数と AWS_SECRET_ACCESS_KEY 環境変数を、それぞれ設定したならば、 S3 ...
2
票
Accepted
AWS Athena で HIVE_BAD_DATA
※この回答は、AWS Athena も Fuel PHP も触ったことのない人がマニュアルを読んだだけで勘で書いたものです。
このエラーはおそらく、ダブルクォーテーションの扱いが上手くいっていないことに起因するものです。具体的には " で挟まれている文字列では "" が " の意味になることが伝わっていません。
というのも、CSV の読み取り方は以下の部分で指定されていますが、...
2
票
Accepted
Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。
Aws::Sigv4::Errors::MissingCredentialsError は環境変数などで AWS のクレデンシャルが与えられていないときに出るエラーです。
おそらくローカルで動かす際は環境変数もしくは ~/.aws/credentials に設定がされており動いていたものが、コンテナの上で動かす際は一切設定されていないのでエラーとなったのではないでしょうか。
...
2
票
Amazon S3のバケット内にあるファイルをインデックスさせない方法が知りたい
原則として、そのオブジェクトの公開URLがパブリックになっておりクローラか見つけない限りインデックスされることはないはずですが、おそらくそのURLが再度シェアされたりした場合のことを想定しているかと思います。
あくまでもわたしの想定では、たしかにrobots.txtに記載することで大抵のケースは大丈夫な気はします。ただし、例外は考えられます。
非推奨である(ドメインベースではなく)...
2
票
Amazon S3のバケット内にあるファイルをインデックスさせない方法が知りたい
このファイルはパブリックにして、見せたい人にだけURLを教えて閲覧してもらっています。
パブリックにするとクローラーにインデックスされて何かしらの検索でヒットしてしまう
クローラーもですが、インデックスされ、第三者がダウンロードを行うと、S3の転送にかかる料金はバケット所有者に請求されます。
このためS3ではパブリック公開は推奨されていません。Amazon S3 ...
2
票
Accepted
s3のファイルアップロードしてlambdaを発火させる際にprefixを動的な値にすることはできますか?
質問文が整理されておらず読み取りづらいのですが、要するに
発火してほしいパターン
test/1/photo-id
test/2/photo-id
発火してほしくないパターン
test/3/sample/ (なぜ / で終わるのか不明。質問文の誤りか?)
でしょうか?
そうであれば、
プレフィックス test/
サフィックス /photo-id
と設定するだけではないでしょうか。
2
票
動的サイトでのAmazon S3のURLの変更
Amazon S3のアドレスを https://www.example.com/ から始まるurlに変更可能でしょうか?
S3だけではできません。他のサービスを前段に配置すれば、エンドポイントのURLをカスタマイズできます。CloudFrontがよく利用されます。(後述します)
静的サイトでは、CloudFrontとRout53を用いて変更可能なようです。
Herokuを利用した、...
1
票
S3のオブジェクトとエンコード
元のテキストがSJISで書かれていて、lambdaないで特に文字コード変換を行なっていないなら、そのテキストはSJISのままです。
metaデータをいくら書き換えたところで、中身には影響しません。
1
票
S3のフォルダの数を取得したい
ruby 自体のコードは、ぱっとはでてこないので、方針を。
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/ListingKeysHierarchy.html
上記ページなどを参照すると、 aws s3 の api には、区切り文字と prefix を指定して list object すると、prefix ...
1
票
Accepted
AWS S3互換環境から互換環境への移行
SDKやCLIを使う分には安定性の面で違いはないと思います。
そういった意味では「よりよい方法」は無いと思います。
SDKのコードは、質問に書かれているURLにも書かれています。また検索すれば色々見つかりますので 参考にされるのには困らないでしょう。
また、AWSのドキュメントにはも コードがありますのでご覧になってください。
例)https://docs.aws.amazon.com/...
1
票
AWSのLambdaからLambdaを呼び出したときに、呼び出し先のLambdaからのレスポンスを待たずに呼び出し元のLambdaが処理終了してしまう
呼び出し元がコールバックを待つ実装になっていないようです。
動作確認まではできていないのですが、こんな感じに修正すれば同期的に実行できるのではないでしょうか。
var lambda = new AWS.Lambda({apiVersion: '2015-03-31'})
exports.handler = async function(event, context, callback){
...
Only top scored, non community-wiki answers of a minimum length are eligible
関連するタグ
amazon-s3 × 88aws × 50
ruby-on-rails × 11
aws-lambda × 10
php × 8
ruby × 7
heroku × 7
python × 5
laravel × 5
javascript × 4
mysql × 3
django × 3
amazon-ec2 × 3
aws-cli × 3
c# × 2
sql × 2
reactjs × 2
csv × 2
rubygems × 2
ffmpeg × 2
fuelphp × 2
https × 2
cors × 2
carrierwave × 2
boto3 × 2