[amazon-s3] タグが付いた質問
87 件の質問
1
票
0
回答
268
閲覧数
Node.js 16.xからNode.js 18.xにコード変更したら動作しない
留守番電話を実装するため、下記参考サイトのWAV形式に変換してS3に保存するLambdaを利用して、問題なく動作しておりましたが、Node.js 16.xからNode.js 18.xにコード変更したところ、WAVファイルは作成されますが、中身が0バイトとなり、再生することができません。
参考サイト:
留守番電話3(kinesis Video StreamsデータをWAV形式に変換してS3に保存) -...
0
票
1
回答
137
閲覧数
S3に格納されているCSVファイルの行数が多いとDynamoDBに反映されない
下記のLambdaのコードでS3に格納されているCSVファイルをDynamoDBに出力しております。
ただ、CSVファイル内の18行ぐらいまでは、正常に出力されるのですが、行数が多くなると最後の行数がDynamoDBに出力されません。
原因が特定できず、ご教示いただければ幸いです。
よろしくお願いいたします。
import boto3
import uuid
# S3、...
0
票
0
回答
70
閲覧数
ウェブサイト上でs3のバケット一覧を取得したい
サイト上でs3のバケット一覧を取得したいのですが、CORSに引っかかってしまい取得することができません。
Access to fetch at 'https://s3.us-east-1.amazonaws.com/?x-id=ListBuckets' from origin 'https://s3.amazonaws.com' has been blocked by CORS policy: ...
0
票
0
回答
100
閲覧数
Next.jsでsleep機能をexportしたい
AWSのS3とCloud Frontを用いて、静的Webサイトを公開します。
Next.jsで生成したサイトをアップしたのですが、ローディング画面が機能しません。
page.tsxにて以下のように記述したところ、ローカルでは2700ミリ秒待機してる間に、loading.tsxを表示してくれます。
const sleep = (msec: number) => new Promise((...
0
票
2
回答
565
閲覧数
rails+carrierwaveでAWSのs3に画像アップロード時Excon::Error::Socket (no address for ...)
状況
環境は下記です。今回はあまり関係ないと思いますがフロントはreact nativeでスマホアプリです。
ruby: 3.0.3
rails: 6.1.4.4
carrierwave: 2.2.3
参考までにサーバーはさくらインターネットのVPSです。OSは標準のCentOS Stream 8 x86_64を利用してます。
carrierwaveの設定は下記の様な感じ。
config....
1
票
1
回答
181
閲覧数
動的サイトでのAmazon S3のURLの変更
Rails6で作成したサイトをHerokuを使って表示しております。
画像はAmazon S3を利用しております。
サイト上の画像urlは下記になります。
https://www.example.com/rails/active_storage/・・・・/curry.jpeg
画像urlにアクセスすると下記のAmazon S3のurlに転送されます。
https://example.s3.ap-...
0
票
1
回答
658
閲覧数
Amazon S3 上の画像を独自ドメインの URL で参照することは可能か
Rails 6で作成したブログサイトにて、Amazon S3に保存している投稿画像をHerokuを使って取得してます。
以下のようなurlになります。
https://example.s3.amazonaws.com/uploads/article/picture1/78/window.png
ブログのURLのドメインと画像URLのドメインが一致させたいのですが、方法はありますでしょうか?
...
0
票
0
回答
148
閲覧数
Rails6 Action Text 本番環境での画像保存エラー
Rails6でAction Textを入れました。
開発環境でlocalには画像を保存できるのですが、本番環境でAmazon S3に保存しようとすると画像のような横のラインがアップロード時にブラウザ画面に表示され、保存できません。
開発環境の画像保存先をAmazon S3に変えると同様の事象が発生します。
Heorokuを使用しており、以下リンク先を参考に設定しましたが、どうにもうまくできず、...
0
票
1
回答
122
閲覧数
pythonを用いてnxlogからAWS S3にログを転送したい。
EC2(Windows)のログをnxlogで収集し、それをAWSのS3に転送したいと考えています。
以下の公式ドキュメントを参照し進めています。
https://docs.nxlog.co/addons/amazon-s3.html
しかし、IT初学者であるためよくわかっておらず、苦戦しています。
nxlog、pythonはインストール前提
Boto3をインストール
nxlog.confを編集
...
0
票
1
回答
831
閲覧数
s3のファイルアップロードしてlambdaを発火させる際にprefixを動的な値にすることはできますか?
やりたいこと
特定のs3のprefixでファイルがアップロードされたときだけlambda関数を実行させたいです。
prefixを動的な値で送りたい。
例を出すとs3のprefix設定でtest/{dynamic-id}/photo-id/にした場合、test/1/photo-idや
test/2/photo-idでファイルをアップロードしたら、
lambdaが発火されるが、test/3/...
2
票
3
回答
1,311
閲覧数
Amazon S3のバケット内にあるファイルをインデックスさせない方法が知りたい
解決したいこと
Amazon S3に画像や動画ファイルを保存しています。
このファイルはパブリックにして、見せたい人にだけURLを教えて閲覧してもらっています。
いろんな情報をみると、パブリックにするとクローラーにインデックスされて何かしらの検索でヒットしてしまうという情報をみました。
パブリックにした状態でブラウザの検索結果に表示させないようにしたいです。
発生している問題・エラー
...
0
票
1
回答
222
閲覧数
DynamoDBへの反映の順番とタイトル行の削除について
DynamoDBテーブルへの登録順番が
「0→1→2→5→3→4→6→11→10→8→7→9」
となります。
「emp_data」の後の数字の順番ではないのでしょうか?
また、CSVにはタイトル行が含まれておりますので、2行目から取得する場合、
どのようなコードを追加したらよいのでしょうか?
よろしくお願いいたします。
import boto3
# S3、DynamoDBテーブルへの接続準備
...
1
票
1
回答
952
閲覧数
Nuxt3で aws-sdk(v2) 使用時に Cannot read properties of undefined (reading 'memoizedProperty') が発生
Nuxt3を使用して、WEBアプリケーションを開発しています。
Nuxt3でaws-sdk(v2)を読み込んだところ、
ローカルのyarn devコマンドでは正常にAWSSDKの実行はできているのですが、
nuxt generate && nuxt startコマンドで表示を行うと、ブラウザのコンソールログに、
Cannot read properties of undefined ...
0
票
1
回答
1,192
閲覧数
ActiveStorageを使用してAmazon S3に保存された画像を表示したい
※他質問サイトでも同様の質問をしています。解決した場合はそちらも更新します。よろしくお願いします。
前提
railsでDM機能を作成しています。
ActiveStorageを使用してS3に画像ファイルをアップロードし、画像をブラウザに表示したいのですが、実装中に以下の問題が発生しました。
ActiveStorage、S3のセットアップは以下を参考にして設定しました。
[Rails] ...
0
票
1
回答
759
閲覧数
S3に画像ファイルをアップロードできない
※他質問サイトでも同様の質問をしています。解決した場合はそちらも更新します。よろしくお願いします。
前提
railsでDM機能を作成しています。
ActiveStorageを使用してS3に画像ファイルをアップロードし、送信した画像を表示したいのですが、実装中に以下のエラーメッセージが発生しました。
ActiveStorage、S3のセットアップは以下を参考にして設定しました。
https://...
0
票
1
回答
145
閲覧数
embulkでs3のデータをrdsへETLしようとするとFOREIGN_KEY制約のエラーが発生する
embulkでs3のデータをrdsへETLしようとするとFOREIGN_KEY制約のエラーが発生します。
具体的には以下のようなエラーです。
java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Cannot delete or update a ...
0
票
1
回答
486
閲覧数
S3のリストをReactで表示させたい
AWSのあるバケットに入っているオブジェクトの一覧をReactで表示させたいです。
Javascript S3等で調べてみましたが、わかりやすいものがなく、困っております。
S3への接続するのがまず第一段階でなんとかしたいです。
WebアプリケーションはAmplifyで作成していて、Amplifyのコンポーネントで使えるものがあれば良かったのですが、いまいちでした。
...
0
票
0
回答
131
閲覧数
wagtail + s3 + Heroku でウェブアプリ開発をすると画像アップロードでinternal error 500が出る。
こちらの質問は以下の質問の延長部分にあたります。
元の質問
またテラテイルでもマルチポストしています。(21/08/19)
マルチポスト先
###症状
画像をアップロードするとInternal server error 500が表示され、読み込まれなくなった。
また、ログにもエラーらしきものは見られない。
###開発環境
Django==3.2.6
gunicorn==20.1.0
...
0
票
2
回答
86
閲覧数
STATIC_URL = "https://%s/%s/" % (AWS_S3_CUSTOM_DOMAIN, AWS_LOCATION)の%についての質問
Amazon S3 実装の際に以下のような書き方のコードが散見されました。
STATIC_URL = "https://%s/%s/" % (AWS_S3_CUSTOM_DOMAIN, AWS_LOCATION)
これはそれぞれを % に代入するということですか?
それともこれをそのまま貼り付けて良いということですか?
3
票
0
回答
246
閲覧数
wagtail(Django CMS)アプリをherokuにデプロイ後、読み込みはされるものの画像が反映されない
いまだ問題解決にいたっておらず情報源を増やすため、下記サイトからこちらにマルチポストしました。変更などがあった際には双方にて追記していきます。
大きく変更した部分や状況が変わった部分があるため、以前の文章についてはイタリック体、最新のことについては太字、以前のコードについてはコメントアウトに変更しています。**
リンク内容
大まかな現状
様々なサイトなどをみてherokuにデプロイはできたが、...
1
票
0
回答
102
閲覧数
googleの更新でSharedArrayBufferが使えなくなったのでAWSのCORSについて教えていただきたいです
javascriptライブラリを使っていたのですがグーグルの更新でSharedArrayBufferが定義されてませんとエラーが出て、最近解決の参考にしてたのURLと近い状態になりました。
Chrome 92以降のSharedArrayBuffer警告に対するZOZOTOWNが実施した調査と解決策
CORSを以下のように分離させたらJSライブラリが起動しましたが、...
0
票
1
回答
635
閲覧数
Laravelを利用してAmazon S3に画像を保存できない
Amazon S3で画像を保存したいと思いましたが、下記エラーで保存ができません。
アクセス権限は許可しています。
putでファイルを送信するとエラーが出力される:
.envのアクセスキー及び、シークレットアクセスキーも誤りがないのでそのへんは関係ないのかなとは思うのですが。
ちなみに以下のようにバケットから画像を取得することはできます。
S3のバケットから画像の情報のgetはできるのですが、...
0
票
1
回答
940
閲覧数
Amazon S3 から FSx for Windows へのファイルコピー方法を教えて下さい
Lambda (Python) を使用して、S3に保存されたことをトリガーとして FSx for Windows にファイルをコピーしたいです。
しかし、検索エンジンで調べても対象の検索結果が見つかりません。
公式ドキュメントには記載なし:
https://docs.aws.amazon.com/ja_jp/fsx/latest/WindowsGuide/what-is.html
そもそも S3 ...
0
票
1
回答
826
閲覧数
Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。
環境
ruby 2.6.5
rails 6
MySQL
M1チップ搭載macOS
解決したいこと
Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
AWS_REGION
をdocker-compose.ymlに記述しましたが、エラーになりました。
...
0
票
2
回答
4,499
閲覧数
Amazon S3 からファイルを直接ダウンロードするようなWebAPIはどのように作れば良いか?
ASP.NET .NET Frameworkを利用してWebAPIを開発しています。
クラウドストレージ(AWSのS3)にファイルを配置し、それをダウンロードさせるWebAPIを作りたいと考えています。
以下のような形で作成し、ダウンロードできることは確認しました。
しかしこのやり方だとWebAPIのサーバーにファイルができるまで呼び出し元が待たされることになります。
...
-2
票
2
回答
542
閲覧数
S3サーバーから取得したファイルを結合したい
S3サーバーから取得したファイルとアップロードしたファイルを結合したいと考えて
下記のコードを作成いたしました。
public function uploadJoin(Request $request)
{
$file = $request->file('file');
$content = \Storage::disk('s3')->get( $file_name );...
1
票
1
回答
549
閲覧数
S3の署名付きURLにInternet Explorerでアクセスすると「このページを表示できません」エラーになる
お世話になっております。
PHPでS3からファイルをダウンロードするための署名付きURLを生成しているのですが、URLが長すぎる(約4,000文字前後)ためか、InternetExplorerでアクセスすると、エラーになってしまいます。
ちなみに、FirefoxやGoogleChromeで開けることは確認できました。
何かよい対処法はないでしょうか。
もしくは、...
0
票
1
回答
780
閲覧数
S3サーバーからEC2サーバーにファイルをダウンロードしたい。
laravelで開発しております。
初歩的な質問かと思いますが、S3サーバーからEC2サーバーへはどのようにしてファイルをダウンロードするのでしょうか。
こちらバイト配列としてダウンロードできるのでしょうか。
S3サーバーからファイルを取得して、末尾にバイト配列を結合して、再びS3サーバーにファイルを上書き保存することを考えております。
よろしくお願い致します。
4/18 追記になります。
...
0
票
0
回答
3,912
閲覧数
python boto3を使用してaws s3のオブジェクトを一括ダウンロードしたい
現在非常にもどかしい状態になっているので、どうかお力添えを頂けましたら幸いです。
S3にある複数のオブジェクトをpythonのboto3を使用してダウンロードしようとしています。
その際にオブジェクトをワイルドカードを使用してダウンロードしたいのですができません。
AWS CLIであれば下記コマンドで実現できる処理です。
aws s3 cp
--recursive \
--exclude '...
0
票
1
回答
263
閲覧数
AWSのEBSスナップショット一覧を取得してメールする方法
現在AWSのEC2を使用しているシステムで日々EBSスナップショットを取得していますが、顧客から一ヶ月毎にスナップショットを一覧にしてメール送付して欲しいとの要求がありました。(スナップショットID,ボリュームID,取得日時)
EBSスナップショットはライフサイクルマネージャーで取得しS3に保存されていますが、...
0
票
1
回答
6,335
閲覧数
Python から s3 にプロキシ経由でのアクセス時に発生するエラーを解決したい
S3へアクセスする際に例外エラーが発生してアクセスできません。
対処方法などあれば教えて頂けませんでしょうか。
プロキシ周りの設定を変更する必要があるのかその辺りの知見がなく、アドバイス頂けると幸いです。
よろしくお願いします。
実行環境
ネットワーク: 社内ネットワーク
Windows10 Pro
Python 3.7.9
各パッケージ
Package Version
boto3 ...
0
票
1
回答
286
閲覧数
本番環境でAction_TextでS3に画像をアップロードする際に画像が編集画面にしか表示されない
本番環境下でAction_Textを活用してrich_text_areaからS3に画像をアップロードした際に編集画面からしか画像が表示されません。
ちなみにS3には画像が保存されており、file_fieldでアップロードした画像の表示はできております。
画像が編集画面でのみ表示され、本番環境で表示されないことについてどなたかご存知の方がおられましたらご教示いただけますと幸いです。
ビュー(フォーム)...
0
票
1
回答
521
閲覧数
Active_Storageで投稿した画像をAWS S3にアップロード及びAWS S3から取得した画像を表示
Active_Storageを使用して写真をアップロードする機能を実装しました。
デプロイ後、写真をあげる際にS3を使用してデータベースに保存・からの取得を試みています。
S3に開発環境からアップロードした画像のオブジェクトURLは"https://<バケット名>.s3-ap-northeast-1.amazonaws.com/<キー>"...
1
票
0
回答
77
閲覧数
lambdaで使っているbatchwriterのエラーの原因が解りません。
lambdaで使っているbatchwriterのエラーの原因が解りません。
前回の質問で使った以下のテンプレート
https://raw.githubusercontent.com/aws-samples/csv-to-dynamodb/master/CloudFormation/CSVToDynamo.template
このテンプレートで作られたs3バケットにcsvをアップすると
...
0
票
1
回答
534
閲覧数
AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」での出力ファイルでNULL値と数値の上手い処理の仕方について
環境
AuroraMySQL 5.6.10a (provisioned)
ap-northeast-1
以下のテーブルがあったとします。
create table Person (
id varchar(2) NOT NULL,
name varchar(10) NOT NULL,
age int
) engine=InnoDB
...
1
票
0
回答
645
閲覧数
AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」で「FORMAT{ CSV|TEXT} [HEADER]」オプションが使用できない
環境
AuroraMySQL 5.6.10a (provisioned)
ap-northeast-1
動作OK
SELECT * FROM [Table] INTO OUTFILE S3 's3uri'
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n';
は正常に実行されますが、...
0
票
1
回答
2,747
閲覧数
S3 のオブジェクトをアトミックにリネームしたい
特定のバケット内に gzip 圧縮されてるのに拡張子が .json で保存されてるのですが
このままだとバッチ処理でうまく gz ファイルと認識してくれないみたいなので
.json を .json.gz にリネームしたいです
ただすでにサービス運用中でこのバケット内に常にAPIから書き込みがあって
json.gz 存在チェック → リネーム という処理がアトミックではないので
...
0
票
1
回答
689
閲覧数
Apache + Fuel PHP に環境変数を渡す方法
Fuel PHP の API サーバーを最近 EC2 に引っ越しして
aws-sdk の credentials を削除して EC2 Role を見に行くようにしたのですが
当然ですが非EC2 の docker 上の開発環境で動かなくなりました
(いままでは config にキーを書いて読み込んでいたんですがセキュリティ要件でソースにキーをおくのがNGになったため)
単に php ...
1
票
1
回答
1,862
閲覧数
AWS Athena で HIVE_BAD_DATA
AWS Athena で S3 上にある CSV データを読もうとしたら
HIVE_BAD_DATA: Error parsing field value '2019-09-09T00:45:29Z' for field 0: For input string: "2019-09-09T00:45:29Z"
というエラーが出たのですがこれはどういう意味のエラーなのでしょうか
テーブル定義は
...
0
票
1
回答
198
閲覧数
aws cli のように s3 のパスを / 区切りでリストしたい
RubyでAWS S3のオブジェクトの一覧を取得してみた - Qiita
こちらを参考に s3 のバケットのリスティングはできたのですが
プレフィックス以下のすべてのオブジェクトが表示されてしまいます
S3の / はディレクトリではなく単なるパスなので当然ではあるんですが
bucket/aaa/111
/222
/bbb/333
/444
...
0
票
0
回答
648
閲覧数
aws-sdk-php v2 で キーペア無しで EC2 Role を利用してS3アクセスする方法
EC2 上で aws_sdk_ruby を使って
Aws::S3::Client.new
で引数をつけないで S3 クライアントを作成した ruby プログラムは
自動的に EC2 Role の権限によって動くようなのですが
(EC2 に S3Full をつけたりはずしたりすると動いたり動かなかったりする)
Fuel 上の aws-sdk-php ...
0
票
1
回答
430
閲覧数
s3へのpythonを使った大きいサイズのfileを大量にuploadする方法
s3へpythonを使って、1GBから5GBのファイルを100個単位でuploadしたいのですが、boto3で試してみたところ、uploadはされるのですが、3mbくらいのファイルがuploadされます。
どのようにすれば良いでしょう??
0
票
1
回答
95
閲覧数
開発環境、EC2環境で共通のコードで別の権限で S3 にアクセスしたい
ruby で aws-sdk gem を使って S3 にアクセスするプログラムがあるのですが
EC2 で動かす分には EC2 Role を割り当てて
Aws::S3::Client.new
と引数なしで動くのですが EC2 ではない開発環境でこのプログラムを動かしたとき
引数なしの s3 クライアントの credentials は何を参照するのでしょうか
...
0
票
1
回答
191
閲覧数
AWSでS3のs3fsの証明バージョン2から4にバージョンアップ手順について
AWSでS3のs3fsの証明バージョン2から4にバージョンアップする手順について、
教えていただけますでしょうか。
署名バージョン2のままですと、6月24日に廃止のためです。
S3バケット・オブジェクトにアクセスできなくなるためです。
追記
インストールは別の方が何年も前に対応しました。そのため、前任者の対応が不明の状態です。
その方に確認してみます。
以上、よろしくお願いいたします。
1
票
0
回答
625
閲覧数
Amazon EMRでS3に書き込みの際に503 Slow Downが発生する
Amazon EMRでPySparkを動かしています。
その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。
コードは以下の通りです。
s3_path = 's3://hoge/huga/'
df.write.format('parquet').mode('overwrite').save(s3_path)
インスタンスはマスタノード、...
1
票
1
回答
776
閲覧数
LumenでS3にファイルを移動&コピーできない
LumenのStorageファサードを利用してS3にファイルを移動&コピーしたいのですが、コピーができません。エラーメッセージは以下です(今回は/var/www/html/storage/logs/lumen.logをコピーします、ファイルは存在します)。
File not found at path: lumen.log
filesystems.phpの中身は以下です。
<?...
0
票
1
回答
226
閲覧数
awsのREST リクエストの署名(verstion 2)と認証について
現在webサービスのフォーム値をawsのs3に保存しようとしているのですが,v2認証がうまくいきません.
awsのドキュメントでは以下の手順で署名を作成するように記述されています.
Authorization = "AWS" + " " + AWSAccessKeyId + ":" + Signature;
Signature = Base64( HMAC-SHA1( ...
0
票
2
回答
2,788
閲覧数
S3のオブジェクトとエンコード
以下の順序でテキストファイルの整形をしています。
Lambda(node.js)からS3のテキストファイル(.deletes)を取得
Lambdaでテキストの中身を整形
拡張子を.textに変更し、S3にput
3.でS3にputする際に 以下をputパラメータに持たせており、
putしたファイルをS3コンソール上で確認すると、メタデータにそれぞれが設定されていることが確認できました。
...
1
票
2
回答
1,119
閲覧数
S3のフォルダの数を取得したい
S3でフォルダの数だけ取得する事ってできますか?
例えば、
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_02/xxx.wav
jazz/chill/chord_03/xxx.wav
という構成の時に、
[jazz/chill/...
1
票
1
回答
2,140
閲覧数
route53で取得した独自ドメインから、アクセスできない。
webサイトをサーバーにあげるために、AWSの公式ドキュメント(https://docs.aws.amazon.com/AmazonS3/latest/dev/website-hosting-custom-domain-walkthrough.html) )に沿ってS3でバッケット(独自ドメインの名前と同じ)を作り、S3のStatic website ...