7
クラウド上に構築する方法で手軽なものは、記載されている通りS3などを利用する方法です。
速度には確かに制限がありますが、S3の東京リージョン・標準ストレージでこれまで数年日本市場向けに動画のストリーム配信を行ってきた限りでは、特に遅いと感じることはありませんでした。経験上、クライアント側が太い回線であれば10Mbps程度はでます。(東京であればレイテンシも非常に小さいです)
ConoHaのオブジェクトストレージは利用したことがないのですが、S3はnekoさんのような用途で利用できる便利な機能がたくさんあります。オブジェクトへのアクセス権限設定はもちろん、例えば、Pre-Signed URLといって、期限付きのワンタイムのURLを発行することなどもできます。なにより「...
4
残念ながらS3ではできないですね。
S3の手前にCloudFrontを利用してはどうでしょうか?CloudFrontは独自ドメイン名の証明書を割り当てる仕組みもあります。
この場合の注意点は、CloudFrontのデフォルトキャッシュ期間は24時間のため、そのままですと24時間以内の変更が反映されない場合が出てきます。S3に保管したファイルにキャッシュヘッダを指定すればCloudFrontがキャッシュする時間も指定することができます。
補足として
CloudFrontのSSLは、「専用 IP 独自 SSL」の場合 月額 600USドル 掛かります。
「SNI 独自 SSL」の場合は、別途費用は掛かりませんが、古いブラウザはサポートしていません。
4
バージョンを有効にしたS3バケットを削除する際は、ライフサイクル設定により全バージョンファイルが消えるよう設定する必要があります。
https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/delete-or-empty-bucket.html#delete-bucket-lifecycle
S3コンソールのbucketのプロパティからライフサイクルの設定でprefixを空欄(バケット全体でもたぶんOK)、日数1でオブジェクト生成後1日たっているファイルがすべて削除されます。
※以前のバージョンは上書き実行日/有効期限終了日から 1 日後
このライフサイクル設定はコマンドラインからも設定可能です。
http://docs.aws.amazon.com/...
3
特定の IP アドレスへのアクセスの制限にも例がある通りであり、質問文に記載された範囲では問題なさそうです。1点、質問文に記載されていない範囲で気になりました。IPアドレス条件演算子の説明に
IP アドレス条件演算子では、キーと IPv4 または IPv6 アドレスまたは IP アドレス範囲の比較に基づいてアクセスを制限する Condition 要素を構築できます。 これらを aws:SourceIp キーと合わせて使用します。値は、標準的な CIDR 形式でなければいけません (例 : 203.0.113.0/24 または 2001:DB8:1234:5678::/64)。
とあります。"xx.xx.xxx.xxx/24" と値が伏せられていますが24bit CIDRであれば "xx.xx.xxx.0/...
3
500エラーなのでサーバー側(Rails側)でなんらかのエラーが発生しているんだと思います。
Herokuのサーバーログを見ると詳細なエラーメッセージやスタックトレースが載っているはずです。まずそれを確認してください。
エラーメッセージやスタックトレースをじっくり確認すれば、この問題も自己解決するかもしれません。
解決した場合は原因と解決策を自分で回答してください。
解決しなければログの内容と、解決のために自分で試してみたことを追記してください。
3
.NET SDKのリファレンスは英語のみですが、S3のドキュメントは日本語になっているので、読みやすいと思います。以下のURLにC#でのファイルアップロード方法の説明やサンプルが載っています。
http://docs.aws.amazon.com/AmazonS3/latest/dev/HLuploadFileDotNet.html
S3 はパーミッションで公開する設定をするか、Bucket Policyで公開する設定をすれば、単純にURL指定でHTTP GETするだけでアクセスできるWebサーバのように動作します。公開されるURLがどのようになるかは、ドキュメントも参考になると思いますし、マネージメントコンソールでファイルをアップロードして、"Make Public (ファイルを公開)"...
3
自己解決しました。
/etc/php-fpm.d/www.conf
で
pm.max_spare_servers = 5
pm.max_children = 5
を
pm.max_spare_servers = 15
pm.max_children = 15
にしたら治りました。英語版StackOverflowに書いてありました。
There are many possible reasons why your PHP-FPM would reach the max_children. Most common ones are:
A lot of parallel requests from your clients
Slow execution of the PHP scripts
Very ...
2
gnu-tlsライブラリ含めるオプションを付けずにビルドしたffmpegを使っているのではないですか?
ffmpeg --versionの結果ををみるとわかりますよ。
http://d.hatena.ne.jp/riocampos+tech/20130731/p1
2
Rubyの実行バージョンが古いので新しいハッシュ記法の対応していないようです。
参考: http://qiita.com/yukimura1227/items/8c972efb27667dfac5cd#2-3
まずは Rubyのバージョンを上げて(最低でも1.9以上、できれば最新の2.2.2)、もう一度試してみてください。
2
世界中のいろんな場所からアクセスされる可能性があり、かつどの場所にも高速にアセットを配信したい場合には、CloudFrontを使うと良いでしょう。
S3はリージョンへのアクセスになりますから、たとえば東京リージョンのS3を使用した場合、太平洋を渡ったアメリカ西海岸からアクセスすると、どうしても転送にかかる時間の分は遅くなってしまいます。
ソレに対してCloudFrontでは、アクセスしたユーザーに物理的に近いキャッシュサーバーを自動で提供してくれます。そのためユーザーが世界中どこからアクセスしても、ネットワークによる大きな遅延が無くアセットを取得できることがメリットとなります。
2
アップロードしたファイルをHTTPで公開する場合は、S3バケットを「静的Webサイト」として設定します。※設定方法等はドキュメントをご覧いただくとして手順は省かせて頂きます
静的Webサイトとして設定したS3バケットは<bucket-name>.s3-website-<AWS-region>.amazonaws.comというURLでアクセス出来ます。<bucket-name> は アップロードしたバケット名、<AWS-region> は S3 のリージョンを指定して下さい。
例えば、 US-East-1 リージョンの バケット名「mybucket」の「/hoge.jpg」ファイルのURLは http://mybucket.s3-website-us-east-...
2
herokuはDynoが再起動した時およびアイドル状態になった時にファイルが削除されてしまいますので、Amazon S3のような外部ストレージを使うしか方法がありません。
独自サーバーやVPSなどに本番環境を置く場合でも画像や音声のデータをユーザーが投稿できる場合はファイルの容量の増加の程度が予測しづらいため、やはりS3を使ったほうがいいでしょう。
2
s3edという、EmacsからAmazon S3上のファイルを編集するためのラッパー的ツールがあります。これは、(trampではなく)/tmp/s3ed/というディレクトリに一旦ファイルをダウンロードして、保存時にS3にアップロードするようです。
S3ed will use /tmp/s3ed/ as scratch space
mattusifer/s3ed: An interface to s3 from emacs
s3edはtrampを利用していませんが、内部的に aws s3 ls や aws s3 cp を使っています。
https://github.com/mattusifer/s3ed/blob/...
2
管理コンソールからやAWS CLIを利用してのアップロードでは、元ファイルの拡張子を元に自動的に Content-Type を付与しますが、Boto3 ではそのような処理がないため、付与する必要があります。
例えば put_object を使う場合だと、ContentType='text/html' の引数を付与して実行してください。
http://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Client.put_object
2
コメント欄にあるように、以下の方法で対応を行いましたので、自己回答をいたします。
メッセージから推測するに move は S3バケット内でオブジェクトを移動するのではと思います。putしてからローカル上のファイルを削除すれば良さそうです。
2
https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/setup-config.html#aws-ruby-sdk-credentials-environment
上記に記述がありますが、 AWS_ACCESS_KEY_ID 環境変数と AWS_SECRET_ACCESS_KEY 環境変数を、それぞれ設定したならば、 S3 クライアントのセットアップは、特に何も行う必要がなく、すなわち、引数なしでただただ new をすれば良いと思います。
2
※この回答は、AWS Athena も Fuel PHP も触ったことのない人がマニュアルを読んだだけで勘で書いたものです。
このエラーはおそらく、ダブルクォーテーションの扱いが上手くいっていないことに起因するものです。具体的には " で挟まれている文字列では "" が " の意味になることが伝わっていません。
というのも、CSV の読み取り方は以下の部分で指定されていますが、escapeChar が怪しいです。
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
'escapeChar'='\"\"',
'quoteChar'='\"',
'...
1
SDKやCLIを使う分には安定性の面で違いはないと思います。
そういった意味では「よりよい方法」は無いと思います。
SDKのコードは、質問に書かれているURLにも書かれています。また検索すれば色々見つかりますので 参考にされるのには困らないでしょう。
また、AWSのドキュメントにはも コードがありますのでご覧になってください。
例)https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/CopyingObjectsExamples.html
安定性という面で考えますと、s3fsを使う場合は、s3fs自体が安定してなければいけませんが、やや疑問があります。(といいつつ、全く問題ないかもしれません。)
もしも s3 sync を使って ...
1
呼び出し元がコールバックを待つ実装になっていないようです。
動作確認まではできていないのですが、こんな感じに修正すれば同期的に実行できるのではないでしょうか。
var lambda = new AWS.Lambda({apiVersion: '2015-03-31'})
exports.handler = async function(event, context, callback){
res = await invokeCreateMp3()
console.log(res) //undefinedになる
}
async function invokeCreateMp3(name, sec) {
try {
const data = await lambda....
1
S3バケットのポリシーは基本的にHTTPリクエストを行う際のセキュリティ制御だったような気がします。
Lambdaはファンクション登録時にそのファンクションで利用するIAMロールを選択できると思うので、そこでS3アクセス権限のあるロールを選択してください。
尚、そういったロールが存在しない場合は作成する必要があります。
http://docs.aws.amazon.com/ja_jp/lambda/latest/dg/with-s3-example-create-iam-role.html
1
Aws SDKの使用開始・使用終了処理を呼び出していなかったため起こったエラーでした。
使用開始
Aws::SDKOptions options;
Aws::InitAPI(options);
使用終了
Aws::ShutdownAPI(options);
これを追加することで、正常にアップロードが可能となりました。非常に単純な見逃しでした...
ありがとうございました。
1
URIの後ろに / (スラッシュ)をつけたところ、URLパラメータを渡すことができました。
(変更前)
<a href="/G002?kubun=0&data=2017-02-23&type=2">
(変更後)
<a href="/G002/?kubun=0&data=2017-02-23&type=2">
1
S3 はリクエストに Orgin ヘッダが含まれていないと Access-Control- 系のヘッダを返さないらしいのですが、この必要なヘッダが含まれていないレスポンスをブラウザがキャッシュしてしまっていると、それ以降はキャッシュを見ただけで失敗としてしまうことがあるようです。
例えば crossOrigin 属性を指定しない img 要素では Origin ヘッダを送信しないので、crossOrigin 属性を設定する前のレスポンスがキャッシュされてるとこの現象が発生します。
S3 not returning Access-Control-Allow-Origin headers? - Stack Overflow
というわけで、一度Chromeのキャッシュを削除してみてはいかがでしょうか。
...
1
Fatal error: Uncaught exception 'FooException' with message 'yyy' in ...
上記のような形式のエラーは、FooException という例外が発生したが、try..catchブロックで処理されなかった、ということを表します。重要なのは with message 'yyy' の部分で、多くの場合ここに例外となった理由が記述されています。
今回の場合 Missing required client configuration options: version: (string) A "version" configuration value is required. (略) とあり、version というオプションが指定されていない、...
1
リージョン文字列が正しくないのではないでしょうか。
'ap_northeast_1' → 'ap-northeast-1' もしくは Region::AP_NORTHEAST_1
1
$client = \Aws\S3\S3Client::factory(array(
'profile' => 'default',
'key' => '******',
'secret' => '******',
'region' => 'ap-northeast-1',
));
という書き方でどうですか?
1
「6万円払う価値があるほどの高速になるのでしょうか?」というのは主観的な質問で貴方にしか分かりません…。
ただ、その計算の価格は変更されてるのでもう少し安いです。
Simple Monthly Calculator で計算したら $419.67 でした。(東京リージョン)
また、「転送量が多ければ料金が高い」というのは CloudFront に限らず S3 / EC2 どちらも 転送量に対して料金が発生します。
仮に CloudFrontを使わず全て S3 からの インターネットへの送信するという場合、2.8TB、GETリクエストが3千万 で計算すると $410.40 でしたので CloudFrontが特別高い印象はありません。
ただ、独自ドメインでSSLを使う場合は注意が必要です。専用IP独自SSLは ...
1
CloudFrontの利用はメリットが多いですが、コンテンツをキャッシュしますので、構築されるWebサイトで問題が無いか十分確認された方が良いと思います。キャッシュされると不都合がある場合は、コンテンツ側でキャッシュヘッダを変更するか、CloudFront側で設定変更が必要です。
その上で、CloudFrontはトータルで見るとそんなに高くないです。
コストはサービス単位ではなくAWS利用量全体を比較して考える必要があると思います。
「CloudFront -> S3/EC2など」のトラフィック課金は1,2年前から無料になっています。ですので、2.8TBのデータ転送量に対する課金がCloudFrontに付くか、S3/EC2に付くか変わるだけで全体コストの違いは無いです。(全てのリージョンで確認していませんが、...
1
heroku logsで確認したところ以下のエラーが確認できました。
2015-10-18T06:33:10.144859+00:00 app[web.1]: app/apis/v1/users.rb:112:in `block (2 levels) in <class:Users>'
2015-10-18T06:33:10.144858+00:00 app[web.1]: NameError (uninitialized constant Paperclip::Storage::S3::AWS):
2015-10-18T06:33:10.128265+00:00 app[web.1]: User Load (0.9ms) SELECT "users".* FROM "users" ...
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります