[amazon-s3] タグが付いた質問
82
質問
5
票
1
回答
1,046
閲覧数
写真共有サービスのような大量の画像を扱うサーバー構成について
現在、インスタグラムのような写真共有アプリを作っています。
サーバーはConoHaを利用しています。
ConoHaのVPSではディスク容量が最大でも500GBまでしか増やせないのですが、仮に500GB近くまで容量がいった時、その場合はどのように対応するのが適切なのでしょうか?
もう一つVPSを増やすみたいなやり方なのか、それとも最初からVPSのディスクは利用せず、...
5
票
1
回答
208
閲覧数
s3 に tramp で接続できるようにするには?
aws-cli で、 aws s3 ls や aws s3 cp を利用すれば、
原理的には tramp に乗せることができるような気がします。
内部で aws-cli をたたくことによって、 s3 へのアクセスを tramp で実現することはできますか?
できる場合、どうやったらこれは実現できますか?
(できる場合について、どう実現するのか、について)
もしこれが広すぎる質問ならば、...
4
票
1
回答
3,243
閲覧数
awsのs3は独自ドメインでssl対応できますか?
お名前.comでとっているドメインがあります。
ここではexample.comとします。
awsのs3に画像ファイルを置いて、https://img.example.com/というURLでアクセスできるようにしたいのですが、可能でしょうか。
s3は標準でsslに対応してるとの事なので、ネームサーバーの設定だけでいけるのかなと思っているのですが、やったことがないのでわかりません。
...
4
票
1
回答
3,534
閲覧数
ffmpegでs3上のファイルにアクセスしようとすると”Protocol not found"と言われる
現在、表題の問題に悩まされております。
PCローカル上の動画にターミナルよりffmpegで以下のコードを実行するときちんと成功し、ファイルが作られます。
% ffmpeg -i /Users/MacBookProMGX82JA/Desktop/mov_h264_aac.mov -vf trim=0:5 \
/Users/MacBookProMGX82JA/Desktop/...
3
票
2
回答
1,335
閲覧数
s3fsとsambaを利用したファイルサーバーにMacから利用できない
同じ状況・解決された方がいましたら返信いただけますでしょうか。
Centos6の環境にs3fsを利用して、AWSのs3をマウントしたサーバーを用意し、
マウントしたディレクトリをsambaで共有設定を行う構成を作成しました。
windowsでアクセスをした際は問題なく操作が出来ますが、
Macから接続した際は、カスタムアクセス権が割り当てられているせいか、
「...
3
票
0
回答
179
閲覧数
wagtail(Django CMS)アプリをherokuにデプロイ後、読み込みはされるものの画像が反映されない
いまだ問題解決にいたっておらず情報源を増やすため、下記サイトからこちらにマルチポストしました。変更などがあった際には双方にて追記していきます。
大きく変更した部分や状況が変わった部分があるため、以前の文章についてはイタリック体、最新のことについては太字、以前のコードについてはコメントアウトに変更しています。**
リンク内容
大まかな現状
様々なサイトなどをみてherokuにデプロイはできたが、...
3
票
0
回答
232
閲覧数
forkしたHerokuリポジトリへpushできない
herokuにpushすると成功するリポジトリがあります。
これをフォークします。
% heroku fork -a app app-staging
フォークしたリポジトリへpushします。
% git remote add staging git@heroku.com:app-staging.git
% git push staging master --force
...
2
票
2
回答
4,683
閲覧数
C#でAWS S3に画像アップロード、URL取得
アップロードは下記コードで成功しました。
アップロードしたファイルに
全員に公開と公開したURLを取得したいです。
公式リファレンスは英語で解読できません。
http://docs.aws.amazon.com/sdkfornet/v3/apidocs/Index.html
Google検索してもそのような情報はありませんでした。
using (TransferUtility ...
2
票
1
回答
2,544
閲覧数
AWSCLIで、s3のバケット内にある全バージョンのファイルを削除するコマンドはありますか?
S3のバケットを削除する必要があり、下記の処理をコマンドで実行したいです。
S3の管理画面からversionをhideからshowに変えて全てのバージョンを表示(http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/UG/managing-objects-versioned-bucket.html を参考)
全てのファイルを選択して削除
...
2
票
1
回答
65
閲覧数
s3のIP制御について
S3で画像を管理しているのですが、IPを制限して自分のサーバーからのみアクセス許可をしたいのですが、設定のconditionの中にIPを入れると403が返ってきてアクセスできません。conditionを外すと表示されます。
具体的に設定方法や確認すべき箇所、(あれば)必要なコマンドなどご教示いただけますでしょうか?
よろしくお願い致します。
{
"Version": "2012-10-...
2
票
1
回答
365
閲覧数
Wordpressで複数の画像をアップロードする際にエラー
AmazonS3とWordpressを連携させてWordpressにメディア画像をアップロードするとS3サーバに送られます。
50枚ほど複数アップロードすると、その中の2~5枚ほどがエラーになります。エラーになったjpgファイルは同じ容量サイズ(500kb)ほどあり、そのjpgURLを開くと
This XML file does not appear to have any style ...
1
票
2
回答
589
閲覧数
HerokuからS3に画像をアップできません。
iOSからS3に画像をアップしたいです。本番環境はHerokuに置いてあり、画像だけをS3に保存したいです。開発はRailsで行っており、libraryはpaperclipを用いています。リンク先を参考にしましたが"status code: 500, headers"というエラーが帰ってくる状況です。 https://devcenter.heroku.com/articles/paperclip-...
1
票
1
回答
211
閲覧数
S3の署名付きURLにInternet Explorerでアクセスすると「このページを表示できません」エラーになる
お世話になっております。
PHPでS3からファイルをダウンロードするための署名付きURLを生成しているのですが、URLが長すぎる(約4,000文字前後)ためか、InternetExplorerでアクセスすると、エラーになってしまいます。
ちなみに、FirefoxやGoogleChromeで開けることは確認できました。
何かよい対処法はないでしょうか。
もしくは、...
1
票
1
回答
1,181
閲覧数
AWS Athena で HIVE_BAD_DATA
AWS Athena で S3 上にある CSV データを読もうとしたら
HIVE_BAD_DATA: Error parsing field value '2019-09-09T00:45:29Z' for field 0: For input string: "2019-09-09T00:45:29Z"
というエラーが出たのですがこれはどういう意味のエラーなのでしょうか
テーブル定義は
...
1
票
1
回答
469
閲覧数
LumenでS3にファイルを移動&コピーできない
LumenのStorageファサードを利用してS3にファイルを移動&コピーしたいのですが、コピーができません。エラーメッセージは以下です(今回は/var/www/html/storage/logs/lumen.logをコピーします、ファイルは存在します)。
File not found at path: lumen.log
filesystems.phpの中身は以下です。
<?...
1
票
1
回答
1,252
閲覧数
route53で取得した独自ドメインから、アクセスできない。
webサイトをサーバーにあげるために、AWSの公式ドキュメント(https://docs.aws.amazon.com/AmazonS3/latest/dev/website-hosting-custom-domain-walkthrough.html) )に沿ってS3でバッケット(独自ドメインの名前と同じ)を作り、S3のStatic website ...
1
票
1
回答
554
閲覧数
Railsアプリケーション 画像・音声ファイルの置き場所について
Railsを使って管理者が画像ファイルや音声ファイルをアップして、それを第3者が確認できるというアプリを作っています。
機能としては、管理画面でアップしたものを別のトップページで確認できるというシンプルなものなのですが、ファイルの置き場所はどこに置くのが一般的なのでしょうか。
ファイルのアップにはCarrierwaveというgemを使っています。ファイルの保存先は/public/...
1
票
1
回答
413
閲覧数
rubyからaws-sdkを使おうとするとエラーが起こる
gem install aws-sdk-coreの後に以下の読み込むだけのコードを実行するとエラーになってしまします。
どこから原因を探せばよいのか、もしくはどうしたら解決するのかを教えていただけないでしょうか。
require 'rubygems'
require 'aws-sdk-core'
↓エラーメッセージ
/usr/local/lib/ruby/site_ruby/1.8/...
1
票
2
回答
846
閲覧数
S3のフォルダの数を取得したい
S3でフォルダの数だけ取得する事ってできますか?
例えば、
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_02/xxx.wav
jazz/chill/chord_03/xxx.wav
という構成の時に、
[jazz/chill/...
1
票
2
回答
843
閲覧数
AWSのLambdaからLambdaを呼び出したときに、呼び出し先のLambdaからのレスポンスを待たずに呼び出し元のLambdaが処理終了してしまう
PollyでMP3を作成してからS3にアップロードし、URLを返すLambdaを、別のLambdaから呼び出しているのですが、呼び出し先のレスポンスを待たずに呼び出し元のLambdaが先に完了してしまします。呼び出し先のLambdaによるMP3作成は、呼び出し元が完了後に完了する動きになってしまっています。
呼び出し先のLambdaのレスポンスを待ってから、...
1
票
1
回答
2,002
閲覧数
node.js でS3からイメージファイルを取得したいが、s3.getObject で Forbidden 403 のエラーになる。
S3 にアップロードはできるのですが、node.jsで書いたサーバコードがgetObjectしてS3からファイルを取得しようと思ってるのですが403 Forbiddenエラーになります。
やりたいことはS3にアップロードした写真を読み込んで画面表示させたいのですが、肝心のS3からの画像の取得がうまくいきません。どなたかご教授願えたらと思っています。
どうぞよろしくお願いします。
...
1
票
0
回答
79
閲覧数
googleの更新でSharedArrayBufferが使えなくなったのでAWSのCORSについて教えていただきたいです
javascriptライブラリを使っていたのですがグーグルの更新でSharedArrayBufferが定義されてませんとエラーが出て、最近解決の参考にしてたのURLと近い状態になりました。
Chrome 92以降のSharedArrayBuffer警告に対するZOZOTOWNが実施した調査と解決策
CORSを以下のように分離させたらJSライブラリが起動しましたが、...
1
票
0
回答
216
閲覧数
既存の S3 バケットをトリガーとする sam テンプレート
S3 PUT をトリガーに起動する Lambda を作りたいのですが
sam template で対象の S3 バケットを設定する方法がわかりません
https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/with-s3-example-use-app-spec.html
これをみると
SrcBucket:
Type: AWS::S3::...
1
票
0
回答
390
閲覧数
AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」で「FORMAT{ CSV|TEXT} [HEADER]」オプションが使用できない
環境
AuroraMySQL 5.6.10a (provisioned)
ap-northeast-1
動作OK
SELECT * FROM [Table] INTO OUTFILE S3 's3uri'
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n';
は正常に実行されますが、...
1
票
0
回答
167
閲覧数
Apache + Fuel PHP 上で aws-sdk-v2 を credentials なしで使う方法
別質問で Fuel 上に環境変数を読み込む方法はわかったので
おそらく AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY を指定すれば動く気はするのですが、できればキーをかかずに .aws/config にかかれてある STS profile 情報で動作するようにしたいです
環境変数 AWS_PROFILE=staging
apache の起動ユーザの /...
1
票
0
回答
454
閲覧数
Amazon EMRでS3に書き込みの際に503 Slow Downが発生する
Amazon EMRでPySparkを動かしています。
その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。
コードは以下の通りです。
s3_path = 's3://hoge/huga/'
df.write.format('parquet').mode('overwrite').save(s3_path)
インスタンスはマスタノード、...
1
票
2
回答
1,157
閲覧数
AWS CLI経由でS3上の画像をAmazon Rekognitionに掛けたい
AWS CLI経由で、S3上に配置した画像をAmazon Rekognitionに投げ、文字認識(DetectText)をしたいと思っていますが、エラーでうまくいきません。
aws rekognition detect-text --image "S3Object={Bucket=mybucket,Name=text.jpg}" --region ap-northeast-1
...
1
票
0
回答
161
閲覧数
QNAPのObject Storage Serverを使っていますがコンテナの中身(リスト)が見れない
QNAPでObject Storage Server(OSS)を使っています。
他のLinuxでs3cmdをインストールしてアクセスしてみました。
QNAPでは
sample01
sample02
のコンテナがあります。両方ともPublicにしています。
# s3cmd ls
2009-02-03 16:45 s3://sample01
2009-02-03 16:45 s3://...
1
票
0
回答
76
閲覧数
S3からRedShiftにcopyしてもデータが空になってしまう
S3からRedShiftにデータを格納したいのですが、データが空の状態で格納されてしまいます。
(サーバー情報など一部データを伏せております)
・S3に格納してあるデータ
{"message":"unixtime:1445847958\tdatetime:26/Oct/2015:17:25:58 +0900\tx-forwaded-for:****\thost:****\tsize:0\...
0
票
2
回答
1,807
閲覧数
Amazon S3 からファイルを直接ダウンロードするようなWebAPIはどのように作れば良いか?
ASP.NET .NET Frameworkを利用してWebAPIを開発しています。
クラウドストレージ(AWSのS3)にファイルを配置し、それをダウンロードさせるWebAPIを作りたいと考えています。
以下のような形で作成し、ダウンロードできることは確認しました。
しかしこのやり方だとWebAPIのサーバーにファイルができるまで呼び出し元が待たされることになります。
...
0
票
1
回答
351
閲覧数
S3サーバーからEC2サーバーにファイルをダウンロードしたい。
laravelで開発しております。
初歩的な質問かと思いますが、S3サーバーからEC2サーバーへはどのようにしてファイルをダウンロードするのでしょうか。
こちらバイト配列としてダウンロードできるのでしょうか。
S3サーバーからファイルを取得して、末尾にバイト配列を結合して、再びS3サーバーにファイルを上書き保存することを考えております。
よろしくお願い致します。
4/18 追記になります。
...
0
票
1
回答
335
閲覧数
Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。
環境
ruby 2.6.5
rails 6
MySQL
M1チップ搭載macOS
解決したいこと
Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
AWS_REGION
をdocker-compose.ymlに記述しましたが、エラーになりました。
...
0
票
1
回答
63
閲覧数
開発環境、EC2環境で共通のコードで別の権限で S3 にアクセスしたい
ruby で aws-sdk gem を使って S3 にアクセスするプログラムがあるのですが
EC2 で動かす分には EC2 Role を割り当てて
Aws::S3::Client.new
と引数なしで動くのですが EC2 ではない開発環境でこのプログラムを動かしたとき
引数なしの s3 クライアントの credentials は何を参照するのでしょうか
...
0
票
1
回答
310
閲覧数
Lambdaを使ってindex.htmlの自動生成について
Lambdaを使ってindex.htmlの自動生成について
python boto3を使用し、任意のバケットにindex.htmlを生成できました。
しかし、lambdaにより生成したindex.htmlを開くと、ブラウザにて内容が表示されず、ダウンロードされてしまいます。
試しに同じ内容のファイルを手動でアップロードし、同じ動作を行うと、きちんとブラウザにHTMLが表示されます。
...
0
票
1
回答
4,317
閲覧数
S3へファイルアップロードしようとすると Missing required client configuration options: version
http://j-caw.co.jp/blog/?p=1100
上記のURLを参考にして、S3へのファイルアップロードを構築しようと考えていますが、以下のようなエラーが出てしまいます。
これは何が原因でしょうか??
Fatal error: Uncaught exception 'InvalidArgumentException' with message 'Missing required ...
0
票
2
回答
1,368
閲覧数
AWS SDK for PHPを使ってS3に画像をアップロードする
タイトル通りなのですが、CakePHP3にAWS SDK for PHPをインストールし、それを使ってAWSのS3にインストールしようしています。
<?php
namespace App\Controller;
require('/var/www/html/imagine/src/vendor/autoload.php');
use App\...
0
票
2
回答
2,009
閲覧数
AWS EC2 S3 CloudFrontについて
現在WordpressをEC2とS3を合併して画像サイトを運営しているのですが、CloudFrontというのを使ったほうが良いのでしょうか?
調べるとCDNはただ単に高速表示させるということなのですが、転送量が多ければ料金が高いということです。
GETリクエスト数 平均ファイルサイズ データ転送量 転送料金 リクエスト料金 合計料金
3千万(100万/日) 100KB 2.8TB $574 ....
0
票
1
回答
95
閲覧数
Amazon CroudFront の使い所
現在, JavaScript/Image/CSS を S3 に置いて HTML だけは動的なため別サーバーにあるような作りのサイトを運営しています。
CroudFront を使えば、これらアセットをキャッシュできるので高速になる、というのはわかったのですが、実際の所、S3 でも十分な速度で低価格なのであまり CroudFront の必要性を感じることができません。
そこまで大規模でないサイトで ...
0
票
1
回答
159
閲覧数
S3のリストをReactで表示させたい
AWSのあるバケットに入っているオブジェクトの一覧をReactで表示させたいです。
Javascript S3等で調べてみましたが、わかりやすいものがなく、困っております。
S3への接続するのがまず第一段階でなんとかしたいです。
WebアプリケーションはAmplifyで作成していて、Amplifyのコンポーネントで使えるものがあれば良かったのですが、いまいちでした。
...
0
票
1
回答
2,145
閲覧数
Python から s3 にプロキシ経由でのアクセス時に発生するエラーを解決したい
S3へアクセスする際に例外エラーが発生してアクセスできません。
対処方法などあれば教えて頂けませんでしょうか。
プロキシ周りの設定を変更する必要があるのかその辺りの知見がなく、アドバイス頂けると幸いです。
よろしくお願いします。
実行環境
ネットワーク: 社内ネットワーク
Windows10 Pro
Python 3.7.9
各パッケージ
Package Version
boto3 ...
0
票
1
回答
144
閲覧数
aws cli のように s3 のパスを / 区切りでリストしたい
RubyでAWS S3のオブジェクトの一覧を取得してみた - Qiita
こちらを参考に s3 のバケットのリスティングはできたのですが
プレフィックス以下のすべてのオブジェクトが表示されてしまいます
S3の / はディレクトリではなく単なるパスなので当然ではあるんですが
bucket/aaa/111
/222
/bbb/333
/444
...
0
票
2
回答
1,977
閲覧数
S3のオブジェクトとエンコード
以下の順序でテキストファイルの整形をしています。
Lambda(node.js)からS3のテキストファイル(.deletes)を取得
Lambdaでテキストの中身を整形
拡張子を.textに変更し、S3にput
3.でS3にputする際に 以下をputパラメータに持たせており、
putしたファイルをS3コンソール上で確認すると、メタデータにそれぞれが設定されていることが確認できました。
...
0
票
1
回答
124
閲覧数
AWS S3互換環境から互換環境への移行
AWS S3互換のクラウドストレージはいくつかありますが、
このような環境同士で大量データを移行する際に安定して実行できる
方法またはアプリ、コードなどを教えていただけますか。
(S3互換→S3、S3互換→S3互換など)
以下のs3fsでマウント、aws cli syncでコピーが安定していそうですが、
記事にもあるように処理の制御に何か問題はないのか不安があります。
http://blog....
0
票
1
回答
914
閲覧数
AWS SDK for C++ のAws::S3::S3Clientで発生するSEH Exceptionについて
お世話になります。
AWS SDK for C++ を使ってS3にファイルをアップロードする処理を書ています。
・コード
bool hoge()
{
Aws::Client::ClientConfiguration config;
config.region = "ap-northeast-1";
Aws::S3::S3Client ...
0
票
1
回答
835
閲覧数
AWS S3 Static website hosting で urlパラメータを指定したい
実現したいこと
urlパラメータを渡したい
実行環境:
React 15.3.1
Redux 3.5.2
AWS S3にSPAのHTMLとJavaScriptを配置
Static website hostingでwebサイトとして公開
なお、ローカル開発環境 (node + express) では発生していません。
発生している問題
URLパラメータが指定されない。
以下のリンクをクリックすると
&...
0
票
1
回答
1,771
閲覧数
Google Chromeでのamazon S3画像へのクロスドメイン接続
S3に配置された画像ファイルをクロスドメイン接続で取得したいのですがGoogle Chromeだけできません。
S3のCORSの設定には下記を設定しています。
<CORSConfiguration>
<CORSRule>
<AllowedOrigin>*</AllowedOrigin>
<AllowedMethod>...
0
票
1
回答
46
閲覧数
DynamoDBへの反映の順番とタイトル行の削除について
DynamoDBテーブルへの登録順番が
「0→1→2→5→3→4→6→11→10→8→7→9」
となります。
「emp_data」の後の数字の順番ではないのでしょうか?
また、CSVにはタイトル行が含まれておりますので、2行目から取得する場合、
どのようなコードを追加したらよいのでしょうか?
よろしくお願いいたします。
import boto3
# S3、DynamoDBテーブルへの接続準備
...
0
票
1
回答
118
閲覧数
Nuxt3で aws-sdk(v2) 使用時に Cannot read properties of undefined (reading 'memoizedProperty') が発生
Nuxt3を使用して、WEBアプリケーションを開発しています。
Nuxt3でaws-sdk(v2)を読み込んだところ、
ローカルのyarn devコマンドでは正常にAWSSDKの実行はできているのですが、
nuxt generate && nuxt startコマンドで表示を行うと、ブラウザのコンソールログに、
Cannot read properties of undefined ...
0
票
0
回答
66
閲覧数
S3へのファイルアップロードができない(Laravel8+heroku):Class "League\Flysystem\AwsS3v3\AwsS3Adapter" not found
概要
herokuにLaravel8(sail環境)で作成したサービスをデプロイしています。
ファイルストレージとしてS3を活用することを試みていますが、
Class "League\Flysystem\AwsS3v3\AwsS3Adapter" not foundによりファイルがアップロードできない状況です。
作業時の参考ドキュメント等
ファイルストレージ 8.x ...
0
票
0
回答
43
閲覧数
AWSのBeanstalkでデプロイできない 構築時にS3からシェルを取得できないようです
調査の観点、解決のヒントなど教えていただけないでしょうか。
AWSのElastic BeanstalkにJavaのアプリをデプロイしようとしています。
失敗して「重大」ステータスになってしまいました。
eb-cfn-init.log を見たところ、
curl https://elasticbeanstalk-platform-assets-ap-northeast-1.s3.ap-...