[amazon-s3] タグが付いた質問
82
質問
0
票
1
回答
49
閲覧数
DynamoDBへの反映の順番とタイトル行の削除について
DynamoDBテーブルへの登録順番が
「0→1→2→5→3→4→6→11→10→8→7→9」
となります。
「emp_data」の後の数字の順番ではないのでしょうか?
また、CSVにはタイトル行が含まれておりますので、2行目から取得する場合、
どのようなコードを追加したらよいのでしょうか?
よろしくお願いいたします。
import boto3
# S3、DynamoDBテーブルへの接続準備
...
0
票
1
回答
125
閲覧数
Nuxt3で aws-sdk(v2) 使用時に Cannot read properties of undefined (reading 'memoizedProperty') が発生
Nuxt3を使用して、WEBアプリケーションを開発しています。
Nuxt3でaws-sdk(v2)を読み込んだところ、
ローカルのyarn devコマンドでは正常にAWSSDKの実行はできているのですが、
nuxt generate && nuxt startコマンドで表示を行うと、ブラウザのコンソールログに、
Cannot read properties of undefined ...
0
票
0
回答
66
閲覧数
S3へのファイルアップロードができない(Laravel8+heroku):Class "League\Flysystem\AwsS3v3\AwsS3Adapter" not found
概要
herokuにLaravel8(sail環境)で作成したサービスをデプロイしています。
ファイルストレージとしてS3を活用することを試みていますが、
Class "League\Flysystem\AwsS3v3\AwsS3Adapter" not foundによりファイルがアップロードできない状況です。
作業時の参考ドキュメント等
ファイルストレージ 8.x ...
0
票
0
回答
43
閲覧数
AWSのBeanstalkでデプロイできない 構築時にS3からシェルを取得できないようです
調査の観点、解決のヒントなど教えていただけないでしょうか。
AWSのElastic BeanstalkにJavaのアプリをデプロイしようとしています。
失敗して「重大」ステータスになってしまいました。
eb-cfn-init.log を見たところ、
curl https://elasticbeanstalk-platform-assets-ap-northeast-1.s3.ap-...
0
票
1
回答
214
閲覧数
ActiveStorageを使用してAmazon S3に保存された画像を表示したい
※他質問サイトでも同様の質問をしています。解決した場合はそちらも更新します。よろしくお願いします。
前提
railsでDM機能を作成しています。
ActiveStorageを使用してS3に画像ファイルをアップロードし、画像をブラウザに表示したいのですが、実装中に以下の問題が発生しました。
ActiveStorage、S3のセットアップは以下を参考にして設定しました。
[Rails] ...
0
票
0
回答
53
閲覧数
Heroku での Application error 発生の件
Deployして、Appを開いてもApplication errorの画面になってしまいます。
localhostでは正常に作動しており、原因がわかりません。
HerokuとAmazon S3を連携して、投稿画像を保存する書き換えをした際に発生しました。
heroku code buildで下記のwarningが表示されております。
どなたか原因がわかりましたら教えていただけますでしょうか?
...
0
票
1
回答
250
閲覧数
S3に画像ファイルをアップロードできない
※他質問サイトでも同様の質問をしています。解決した場合はそちらも更新します。よろしくお願いします。
前提
railsでDM機能を作成しています。
ActiveStorageを使用してS3に画像ファイルをアップロードし、送信した画像を表示したいのですが、実装中に以下のエラーメッセージが発生しました。
ActiveStorage、S3のセットアップは以下を参考にして設定しました。
https://...
0
票
0
回答
63
閲覧数
S3に保存されているPDFをメールに添付して送りたい
S3に保存されているPDFをメールに添付して送ろうとしております。
gemのcarrierwaveを使用して、
awsのs3にpdfを保存しております。
ファイル名は、Userテーブルのprofile_pdfに保存しております。
pdf_url = user.profile_pdf.url
attachments["#{user.name}_概要.pdf"] = File....
0
票
0
回答
49
閲覧数
Ubuntu EC2インスタンスにS3FSでS3バケットをマウントするとSSH出来なくなる
掲題の通り、SSH接続することが出来ていたubuntuインスタンスにS3FSでS3バケットをマウントし、インスタンスを再起動すると同インスタンスに対してのSSH接続が不可能になりました。
SSHコマンド
ssh -i “pemファイル名” ubuntu@"ec2-ドメイン名"
エラーメッセージ
ssh: connect to host "ec2-ドメイン名"...
0
票
1
回答
65
閲覧数
embulkでs3のデータをrdsへETLしようとするとFOREIGN_KEY制約のエラーが発生する
embulkでs3のデータをrdsへETLしようとするとFOREIGN_KEY制約のエラーが発生します。
具体的には以下のようなエラーです。
java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Cannot delete or update a ...
0
票
0
回答
186
閲覧数
carrierwaveを使用しての画像の投稿、編集時のエラーを解決したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、画像のアップロード機能をcarrierwaveで実装し、本番環境での画像保存にはAWS S3を使用しております。
解決したいこと
本番環境(heroku)での画像の投稿、編集時に、エラーを表示することなく正常に動作させたいです。(開発環境では正常に動作しています)...
0
票
1
回答
163
閲覧数
S3のリストをReactで表示させたい
AWSのあるバケットに入っているオブジェクトの一覧をReactで表示させたいです。
Javascript S3等で調べてみましたが、わかりやすいものがなく、困っております。
S3への接続するのがまず第一段階でなんとかしたいです。
WebアプリケーションはAmplifyで作成していて、Amplifyのコンポーネントで使えるものがあれば良かったのですが、いまいちでした。
...
0
票
0
回答
95
閲覧数
wagtail + s3 + Heroku でウェブアプリ開発をすると画像アップロードでinternal error 500が出る。
こちらの質問は以下の質問の延長部分にあたります。
元の質問
またテラテイルでもマルチポストしています。(21/08/19)
マルチポスト先
###症状
画像をアップロードするとInternal server error 500が表示され、読み込まれなくなった。
また、ログにもエラーらしきものは見られない。
###開発環境
Django==3.2.6
gunicorn==20.1.0
...
0
票
2
回答
56
閲覧数
STATIC_URL = "https://%s/%s/" % (AWS_S3_CUSTOM_DOMAIN, AWS_LOCATION)の%についての質問
Amazon S3 実装の際に以下のような書き方のコードが散見されました。
STATIC_URL = "https://%s/%s/" % (AWS_S3_CUSTOM_DOMAIN, AWS_LOCATION)
これはそれぞれを % に代入するということですか?
それともこれをそのまま貼り付けて良いということですか?
3
票
0
回答
179
閲覧数
wagtail(Django CMS)アプリをherokuにデプロイ後、読み込みはされるものの画像が反映されない
いまだ問題解決にいたっておらず情報源を増やすため、下記サイトからこちらにマルチポストしました。変更などがあった際には双方にて追記していきます。
大きく変更した部分や状況が変わった部分があるため、以前の文章についてはイタリック体、最新のことについては太字、以前のコードについてはコメントアウトに変更しています。**
リンク内容
大まかな現状
様々なサイトなどをみてherokuにデプロイはできたが、...
1
票
0
回答
79
閲覧数
googleの更新でSharedArrayBufferが使えなくなったのでAWSのCORSについて教えていただきたいです
javascriptライブラリを使っていたのですがグーグルの更新でSharedArrayBufferが定義されてませんとエラーが出て、最近解決の参考にしてたのURLと近い状態になりました。
Chrome 92以降のSharedArrayBuffer警告に対するZOZOTOWNが実施した調査と解決策
CORSを以下のように分離させたらJSライブラリが起動しましたが、...
0
票
1
回答
217
閲覧数
Laravelを利用してAmazon S3に画像を保存できない
Amazon S3で画像を保存したいと思いましたが、下記エラーで保存ができません。
アクセス権限は許可しています。
putでファイルを送信するとエラーが出力される:
.envのアクセスキー及び、シークレットアクセスキーも誤りがないのでそのへんは関係ないのかなとは思うのですが。
ちなみに以下のようにバケットから画像を取得することはできます。
S3のバケットから画像の情報のgetはできるのですが、...
0
票
1
回答
283
閲覧数
Amazon S3 から FSx for Windows へのファイルコピー方法を教えて下さい
Lambda (Python) を使用して、S3に保存されたことをトリガーとして FSx for Windows にファイルをコピーしたいです。
しかし、検索エンジンで調べても対象の検索結果が見つかりません。
公式ドキュメントには記載なし:
https://docs.aws.amazon.com/ja_jp/fsx/latest/WindowsGuide/what-is.html
そもそも S3 ...
0
票
1
回答
337
閲覧数
Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。
環境
ruby 2.6.5
rails 6
MySQL
M1チップ搭載macOS
解決したいこと
Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
AWS_REGION
をdocker-compose.ymlに記述しましたが、エラーになりました。
...
0
票
2
回答
1,820
閲覧数
Amazon S3 からファイルを直接ダウンロードするようなWebAPIはどのように作れば良いか?
ASP.NET .NET Frameworkを利用してWebAPIを開発しています。
クラウドストレージ(AWSのS3)にファイルを配置し、それをダウンロードさせるWebAPIを作りたいと考えています。
以下のような形で作成し、ダウンロードできることは確認しました。
しかしこのやり方だとWebAPIのサーバーにファイルができるまで呼び出し元が待たされることになります。
...
-2
票
2
回答
290
閲覧数
S3サーバーから取得したファイルを結合したい
S3サーバーから取得したファイルとアップロードしたファイルを結合したいと考えて
下記のコードを作成いたしました。
public function uploadJoin(Request $request)
{
$file = $request->file('file');
$content = \Storage::disk('s3')->get( $file_name );...
1
票
1
回答
211
閲覧数
S3の署名付きURLにInternet Explorerでアクセスすると「このページを表示できません」エラーになる
お世話になっております。
PHPでS3からファイルをダウンロードするための署名付きURLを生成しているのですが、URLが長すぎる(約4,000文字前後)ためか、InternetExplorerでアクセスすると、エラーになってしまいます。
ちなみに、FirefoxやGoogleChromeで開けることは確認できました。
何かよい対処法はないでしょうか。
もしくは、...
0
票
1
回答
352
閲覧数
S3サーバーからEC2サーバーにファイルをダウンロードしたい。
laravelで開発しております。
初歩的な質問かと思いますが、S3サーバーからEC2サーバーへはどのようにしてファイルをダウンロードするのでしょうか。
こちらバイト配列としてダウンロードできるのでしょうか。
S3サーバーからファイルを取得して、末尾にバイト配列を結合して、再びS3サーバーにファイルを上書き保存することを考えております。
よろしくお願い致します。
4/18 追記になります。
...
1
票
0
回答
217
閲覧数
既存の S3 バケットをトリガーとする sam テンプレート
S3 PUT をトリガーに起動する Lambda を作りたいのですが
sam template で対象の S3 バケットを設定する方法がわかりません
https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/with-s3-example-use-app-spec.html
これをみると
SrcBucket:
Type: AWS::S3::...
0
票
0
回答
1,924
閲覧数
python boto3を使用してaws s3のオブジェクトを一括ダウンロードしたい
現在非常にもどかしい状態になっているので、どうかお力添えを頂けましたら幸いです。
S3にある複数のオブジェクトをpythonのboto3を使用してダウンロードしようとしています。
その際にオブジェクトをワイルドカードを使用してダウンロードしたいのですができません。
AWS CLIであれば下記コマンドで実現できる処理です。
aws s3 cp
--recursive \
--exclude '...
0
票
1
回答
178
閲覧数
AWSのEBSスナップショット一覧を取得してメールする方法
現在AWSのEC2を使用しているシステムで日々EBSスナップショットを取得していますが、顧客から一ヶ月毎にスナップショットを一覧にしてメール送付して欲しいとの要求がありました。(スナップショットID,ボリュームID,取得日時)
EBSスナップショットはライフサイクルマネージャーで取得しS3に保存されていますが、...
0
票
1
回答
2,174
閲覧数
Python から s3 にプロキシ経由でのアクセス時に発生するエラーを解決したい
S3へアクセスする際に例外エラーが発生してアクセスできません。
対処方法などあれば教えて頂けませんでしょうか。
プロキシ周りの設定を変更する必要があるのかその辺りの知見がなく、アドバイス頂けると幸いです。
よろしくお願いします。
実行環境
ネットワーク: 社内ネットワーク
Windows10 Pro
Python 3.7.9
各パッケージ
Package Version
boto3 ...
0
票
1
回答
202
閲覧数
本番環境でAction_TextでS3に画像をアップロードする際に画像が編集画面にしか表示されない
本番環境下でAction_Textを活用してrich_text_areaからS3に画像をアップロードした際に編集画面からしか画像が表示されません。
ちなみにS3には画像が保存されており、file_fieldでアップロードした画像の表示はできております。
画像が編集画面でのみ表示され、本番環境で表示されないことについてどなたかご存知の方がおられましたらご教示いただけますと幸いです。
ビュー(フォーム)...
0
票
1
回答
377
閲覧数
Active_Storageで投稿した画像をAWS S3にアップロード及びAWS S3から取得した画像を表示
Active_Storageを使用して写真をアップロードする機能を実装しました。
デプロイ後、写真をあげる際にS3を使用してデータベースに保存・からの取得を試みています。
S3に開発環境からアップロードした画像のオブジェクトURLは"https://<バケット名>.s3-ap-northeast-1.amazonaws.com/<キー>"...
0
票
0
回答
57
閲覧数
lambdaで使っているbatchwriterのエラーの原因が解りません。
lambdaで使っているbatchwriterのエラーの原因が解りません。
前回の質問で使った以下のテンプレート
https://raw.githubusercontent.com/aws-samples/csv-to-dynamodb/master/CloudFormation/CSVToDynamo.template
このテンプレートで作られたs3バケットにcsvをアップすると
...
0
票
1
回答
231
閲覧数
AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」での出力ファイルでNULL値と数値の上手い処理の仕方について
環境
AuroraMySQL 5.6.10a (provisioned)
ap-northeast-1
以下のテーブルがあったとします。
create table Person (
id varchar(2) NOT NULL,
name varchar(10) NOT NULL,
age int
) engine=InnoDB
...
1
票
0
回答
392
閲覧数
AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」で「FORMAT{ CSV|TEXT} [HEADER]」オプションが使用できない
環境
AuroraMySQL 5.6.10a (provisioned)
ap-northeast-1
動作OK
SELECT * FROM [Table] INTO OUTFILE S3 's3uri'
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n';
は正常に実行されますが、...
0
票
1
回答
1,449
閲覧数
S3 のオブジェクトをアトミックにリネームしたい
特定のバケット内に gzip 圧縮されてるのに拡張子が .json で保存されてるのですが
このままだとバッチ処理でうまく gz ファイルと認識してくれないみたいなので
.json を .json.gz にリネームしたいです
ただすでにサービス運用中でこのバケット内に常にAPIから書き込みがあって
json.gz 存在チェック → リネーム という処理がアトミックではないので
...
1
票
0
回答
167
閲覧数
Apache + Fuel PHP 上で aws-sdk-v2 を credentials なしで使う方法
別質問で Fuel 上に環境変数を読み込む方法はわかったので
おそらく AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY を指定すれば動く気はするのですが、できればキーをかかずに .aws/config にかかれてある STS profile 情報で動作するようにしたいです
環境変数 AWS_PROFILE=staging
apache の起動ユーザの /...
0
票
1
回答
564
閲覧数
Apache + Fuel PHP に環境変数を渡す方法
Fuel PHP の API サーバーを最近 EC2 に引っ越しして
aws-sdk の credentials を削除して EC2 Role を見に行くようにしたのですが
当然ですが非EC2 の docker 上の開発環境で動かなくなりました
(いままでは config にキーを書いて読み込んでいたんですがセキュリティ要件でソースにキーをおくのがNGになったため)
単に php ...
1
票
1
回答
1,183
閲覧数
AWS Athena で HIVE_BAD_DATA
AWS Athena で S3 上にある CSV データを読もうとしたら
HIVE_BAD_DATA: Error parsing field value '2019-09-09T00:45:29Z' for field 0: For input string: "2019-09-09T00:45:29Z"
というエラーが出たのですがこれはどういう意味のエラーなのでしょうか
テーブル定義は
...
0
票
1
回答
144
閲覧数
aws cli のように s3 のパスを / 区切りでリストしたい
RubyでAWS S3のオブジェクトの一覧を取得してみた - Qiita
こちらを参考に s3 のバケットのリスティングはできたのですが
プレフィックス以下のすべてのオブジェクトが表示されてしまいます
S3の / はディレクトリではなく単なるパスなので当然ではあるんですが
bucket/aaa/111
/222
/bbb/333
/444
...
0
票
0
回答
379
閲覧数
aws-sdk-php v2 で キーペア無しで EC2 Role を利用してS3アクセスする方法
EC2 上で aws_sdk_ruby を使って
Aws::S3::Client.new
で引数をつけないで S3 クライアントを作成した ruby プログラムは
自動的に EC2 Role の権限によって動くようなのですが
(EC2 に S3Full をつけたりはずしたりすると動いたり動かなかったりする)
Fuel 上の aws-sdk-php ...
0
票
1
回答
247
閲覧数
s3へのpythonを使った大きいサイズのfileを大量にuploadする方法
s3へpythonを使って、1GBから5GBのファイルを100個単位でuploadしたいのですが、boto3で試してみたところ、uploadはされるのですが、3mbくらいのファイルがuploadされます。
どのようにすれば良いでしょう??
0
票
1
回答
63
閲覧数
開発環境、EC2環境で共通のコードで別の権限で S3 にアクセスしたい
ruby で aws-sdk gem を使って S3 にアクセスするプログラムがあるのですが
EC2 で動かす分には EC2 Role を割り当てて
Aws::S3::Client.new
と引数なしで動くのですが EC2 ではない開発環境でこのプログラムを動かしたとき
引数なしの s3 クライアントの credentials は何を参照するのでしょうか
...
0
票
1
回答
149
閲覧数
AWSでS3のs3fsの証明バージョン2から4にバージョンアップ手順について
AWSでS3のs3fsの証明バージョン2から4にバージョンアップする手順について、
教えていただけますでしょうか。
署名バージョン2のままですと、6月24日に廃止のためです。
S3バケット・オブジェクトにアクセスできなくなるためです。
追記
インストールは別の方が何年も前に対応しました。そのため、前任者の対応が不明の状態です。
その方に確認してみます。
以上、よろしくお願いいたします。
1
票
0
回答
454
閲覧数
Amazon EMRでS3に書き込みの際に503 Slow Downが発生する
Amazon EMRでPySparkを動かしています。
その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。
コードは以下の通りです。
s3_path = 's3://hoge/huga/'
df.write.format('parquet').mode('overwrite').save(s3_path)
インスタンスはマスタノード、...
1
票
1
回答
472
閲覧数
LumenでS3にファイルを移動&コピーできない
LumenのStorageファサードを利用してS3にファイルを移動&コピーしたいのですが、コピーができません。エラーメッセージは以下です(今回は/var/www/html/storage/logs/lumen.logをコピーします、ファイルは存在します)。
File not found at path: lumen.log
filesystems.phpの中身は以下です。
<?...
0
票
1
回答
170
閲覧数
awsのREST リクエストの署名(verstion 2)と認証について
現在webサービスのフォーム値をawsのs3に保存しようとしているのですが,v2認証がうまくいきません.
awsのドキュメントでは以下の手順で署名を作成するように記述されています.
Authorization = "AWS" + " " + AWSAccessKeyId + ":" + Signature;
Signature = Base64( HMAC-SHA1( ...
0
票
2
回答
1,981
閲覧数
S3のオブジェクトとエンコード
以下の順序でテキストファイルの整形をしています。
Lambda(node.js)からS3のテキストファイル(.deletes)を取得
Lambdaでテキストの中身を整形
拡張子を.textに変更し、S3にput
3.でS3にputする際に 以下をputパラメータに持たせており、
putしたファイルをS3コンソール上で確認すると、メタデータにそれぞれが設定されていることが確認できました。
...
1
票
2
回答
847
閲覧数
S3のフォルダの数を取得したい
S3でフォルダの数だけ取得する事ってできますか?
例えば、
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_02/xxx.wav
jazz/chill/chord_03/xxx.wav
という構成の時に、
[jazz/chill/...
1
票
1
回答
1,255
閲覧数
route53で取得した独自ドメインから、アクセスできない。
webサイトをサーバーにあげるために、AWSの公式ドキュメント(https://docs.aws.amazon.com/AmazonS3/latest/dev/website-hosting-custom-domain-walkthrough.html) )に沿ってS3でバッケット(独自ドメインの名前と同じ)を作り、S3のStatic website ...
0
票
1
回答
93
閲覧数
s3 bucket を rubygems の置き場として取り扱うような方法・ライブラリはある?
docker には、 docker repository のバックエンドを s3 bucket にすることができます。 https://docs.docker.com/registry/storage-drivers/s3
ふと、同様のことが rubygems でも実現可能なのではないか、と思いました。
質問
rubygems.org のような、 gem ...
2
票
1
回答
65
閲覧数
s3のIP制御について
S3で画像を管理しているのですが、IPを制限して自分のサーバーからのみアクセス許可をしたいのですが、設定のconditionの中にIPを入れると403が返ってきてアクセスできません。conditionを外すと表示されます。
具体的に設定方法や確認すべき箇所、(あれば)必要なコマンドなどご教示いただけますでしょうか?
よろしくお願い致します。
{
"Version": "2012-10-...
0
票
1
回答
124
閲覧数
AWS S3互換環境から互換環境への移行
AWS S3互換のクラウドストレージはいくつかありますが、
このような環境同士で大量データを移行する際に安定して実行できる
方法またはアプリ、コードなどを教えていただけますか。
(S3互換→S3、S3互換→S3互換など)
以下のs3fsでマウント、aws cli syncでコピーが安定していそうですが、
記事にもあるように処理の制御に何か問題はないのか不安があります。
http://blog....