Skip to main content

[amazon-s3] タグが付いた質問

Amazon Simple Storage Service の略で、Amazonが提供するストレージサービス。

絞り込み
並べ替え
タグ付けされた
1
0 回答
268 閲覧数

Node.js 16.xからNode.js 18.xにコード変更したら動作しない

留守番電話を実装するため、下記参考サイトのWAV形式に変換してS3に保存するLambdaを利用して、問題なく動作しておりましたが、Node.js 16.xからNode.js 18.xにコード変更したところ、WAVファイルは作成されますが、中身が0バイトとなり、再生することができません。 参考サイト: 留守番電話3(kinesis Video StreamsデータをWAV形式に変換してS3に保存) -...
user55460's user avatar
0
1 回答
137 閲覧数

S3に格納されているCSVファイルの行数が多いとDynamoDBに反映されない

下記のLambdaのコードでS3に格納されているCSVファイルをDynamoDBに出力しております。 ただ、CSVファイル内の18行ぐらいまでは、正常に出力されるのですが、行数が多くなると最後の行数がDynamoDBに出力されません。 原因が特定できず、ご教示いただければ幸いです。 よろしくお願いいたします。 import boto3 import uuid # S3、...
user55460's user avatar
0
0 回答
70 閲覧数

ウェブサイト上でs3のバケット一覧を取得したい

サイト上でs3のバケット一覧を取得したいのですが、CORSに引っかかってしまい取得することができません。 Access to fetch at 'https://s3.us-east-1.amazonaws.com/?x-id=ListBuckets' from origin 'https://s3.amazonaws.com' has been blocked by CORS policy: ...
sebiro_man's user avatar
0
0 回答
100 閲覧数

Next.jsでsleep機能をexportしたい

AWSのS3とCloud Frontを用いて、静的Webサイトを公開します。 Next.jsで生成したサイトをアップしたのですが、ローディング画面が機能しません。 page.tsxにて以下のように記述したところ、ローカルでは2700ミリ秒待機してる間に、loading.tsxを表示してくれます。 const sleep = (msec: number) => new Promise((...
どっこいしょ's user avatar
0
2 回答
565 閲覧数

rails+carrierwaveでAWSのs3に画像アップロード時Excon::Error::Socket (no address for ...)

状況 環境は下記です。今回はあまり関係ないと思いますがフロントはreact nativeでスマホアプリです。 ruby: 3.0.3 rails: 6.1.4.4 carrierwave: 2.2.3 参考までにサーバーはさくらインターネットのVPSです。OSは標準のCentOS Stream 8 x86_64を利用してます。 carrierwaveの設定は下記の様な感じ。 config....
Masamoto Miyata's user avatar
1
1 回答
181 閲覧数

動的サイトでのAmazon S3のURLの変更

Rails6で作成したサイトをHerokuを使って表示しております。 画像はAmazon S3を利用しております。 サイト上の画像urlは下記になります。 https://www.example.com/rails/active_storage/・・・・/curry.jpeg 画像urlにアクセスすると下記のAmazon S3のurlに転送されます。 https://example.s3.ap-...
haru-qun's user avatar
0
1 回答
658 閲覧数

Amazon S3 上の画像を独自ドメインの URL で参照することは可能か

Rails 6で作成したブログサイトにて、Amazon S3に保存している投稿画像をHerokuを使って取得してます。 以下のようなurlになります。 https://example.s3.amazonaws.com/uploads/article/picture1/78/window.png ブログのURLのドメインと画像URLのドメインが一致させたいのですが、方法はありますでしょうか? ...
haru-qun's user avatar
0
0 回答
148 閲覧数

Rails6 Action Text 本番環境での画像保存エラー

Rails6でAction Textを入れました。 開発環境でlocalには画像を保存できるのですが、本番環境でAmazon S3に保存しようとすると画像のような横のラインがアップロード時にブラウザ画面に表示され、保存できません。 開発環境の画像保存先をAmazon S3に変えると同様の事象が発生します。 Heorokuを使用しており、以下リンク先を参考に設定しましたが、どうにもうまくできず、...
haru-qun's user avatar
0
1 回答
122 閲覧数

pythonを用いてnxlogからAWS S3にログを転送したい。

EC2(Windows)のログをnxlogで収集し、それをAWSのS3に転送したいと考えています。 以下の公式ドキュメントを参照し進めています。 https://docs.nxlog.co/addons/amazon-s3.html しかし、IT初学者であるためよくわかっておらず、苦戦しています。 nxlog、pythonはインストール前提 Boto3をインストール nxlog.confを編集 ...
haruki.maemura's user avatar
0
1 回答
831 閲覧数

s3のファイルアップロードしてlambdaを発火させる際にprefixを動的な値にすることはできますか?

やりたいこと 特定のs3のprefixでファイルがアップロードされたときだけlambda関数を実行させたいです。 prefixを動的な値で送りたい。 例を出すとs3のprefix設定でtest/{dynamic-id}/photo-id/にした場合、test/1/photo-idや test/2/photo-idでファイルをアップロードしたら、 lambdaが発火されるが、test/3/...
Masato fromTomato's user avatar
2
3 回答
1,311 閲覧数

Amazon S3のバケット内にあるファイルをインデックスさせない方法が知りたい

解決したいこと Amazon S3に画像や動画ファイルを保存しています。 このファイルはパブリックにして、見せたい人にだけURLを教えて閲覧してもらっています。 いろんな情報をみると、パブリックにするとクローラーにインデックスされて何かしらの検索でヒットしてしまうという情報をみました。 パブリックにした状態でブラウザの検索結果に表示させないようにしたいです。 発生している問題・エラー ...
yuta0922's user avatar
0
1 回答
222 閲覧数

DynamoDBへの反映の順番とタイトル行の削除について

DynamoDBテーブルへの登録順番が 「0→1→2→5→3→4→6→11→10→8→7→9」 となります。 「emp_data」の後の数字の順番ではないのでしょうか? また、CSVにはタイトル行が含まれておりますので、2行目から取得する場合、 どのようなコードを追加したらよいのでしょうか? よろしくお願いいたします。 import boto3 # S3、DynamoDBテーブルへの接続準備 ...
user53487's user avatar
1
1 回答
952 閲覧数

Nuxt3で aws-sdk(v2) 使用時に Cannot read properties of undefined (reading 'memoizedProperty') が発生

Nuxt3を使用して、WEBアプリケーションを開発しています。 Nuxt3でaws-sdk(v2)を読み込んだところ、 ローカルのyarn devコマンドでは正常にAWSSDKの実行はできているのですが、 nuxt generate && nuxt startコマンドで表示を行うと、ブラウザのコンソールログに、 Cannot read properties of undefined ...
Buakaw's user avatar
  • 21
0
1 回答
1,192 閲覧数

ActiveStorageを使用してAmazon S3に保存された画像を表示したい

※他質問サイトでも同様の質問をしています。解決した場合はそちらも更新します。よろしくお願いします。 前提 railsでDM機能を作成しています。 ActiveStorageを使用してS3に画像ファイルをアップロードし、画像をブラウザに表示したいのですが、実装中に以下の問題が発生しました。 ActiveStorage、S3のセットアップは以下を参考にして設定しました。 [Rails] ...
edsr's user avatar
  • 5
0
1 回答
759 閲覧数

S3に画像ファイルをアップロードできない

※他質問サイトでも同様の質問をしています。解決した場合はそちらも更新します。よろしくお願いします。 前提 railsでDM機能を作成しています。 ActiveStorageを使用してS3に画像ファイルをアップロードし、送信した画像を表示したいのですが、実装中に以下のエラーメッセージが発生しました。 ActiveStorage、S3のセットアップは以下を参考にして設定しました。 https://...
edsr's user avatar
  • 5
0
1 回答
145 閲覧数

embulkでs3のデータをrdsへETLしようとするとFOREIGN_KEY制約のエラーが発生する

embulkでs3のデータをrdsへETLしようとするとFOREIGN_KEY制約のエラーが発生します。 具体的には以下のようなエラーです。 java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Cannot delete or update a ...
サワヤン's user avatar
0
1 回答
486 閲覧数

S3のリストをReactで表示させたい

AWSのあるバケットに入っているオブジェクトの一覧をReactで表示させたいです。 Javascript S3等で調べてみましたが、わかりやすいものがなく、困っております。 S3への接続するのがまず第一段階でなんとかしたいです。 WebアプリケーションはAmplifyで作成していて、Amplifyのコンポーネントで使えるものがあれば良かったのですが、いまいちでした。 ...
user39728's user avatar
0
0 回答
131 閲覧数

wagtail + s3 + Heroku でウェブアプリ開発をすると画像アップロードでinternal error 500が出る。

こちらの質問は以下の質問の延長部分にあたります。 元の質問 またテラテイルでもマルチポストしています。(21/08/19) マルチポスト先 ###症状 画像をアップロードするとInternal server error 500が表示され、読み込まれなくなった。 また、ログにもエラーらしきものは見られない。 ###開発環境 Django==3.2.6 gunicorn==20.1.0 ...
user47792's user avatar
0
2 回答
86 閲覧数

STATIC_URL = "https://%s/%s/" % (AWS_S3_CUSTOM_DOMAIN, AWS_LOCATION)の%についての質問

Amazon S3 実装の際に以下のような書き方のコードが散見されました。 STATIC_URL = "https://%s/%s/" % (AWS_S3_CUSTOM_DOMAIN, AWS_LOCATION) これはそれぞれを % に代入するということですか? それともこれをそのまま貼り付けて良いということですか?
user47658's user avatar
3
0 回答
246 閲覧数

wagtail(Django CMS)アプリをherokuにデプロイ後、読み込みはされるものの画像が反映されない

いまだ問題解決にいたっておらず情報源を増やすため、下記サイトからこちらにマルチポストしました。変更などがあった際には双方にて追記していきます。 大きく変更した部分や状況が変わった部分があるため、以前の文章についてはイタリック体、最新のことについては太字、以前のコードについてはコメントアウトに変更しています。** リンク内容 大まかな現状 様々なサイトなどをみてherokuにデプロイはできたが、...
user47658's user avatar
1
0 回答
102 閲覧数

googleの更新でSharedArrayBufferが使えなくなったのでAWSのCORSについて教えていただきたいです

javascriptライブラリを使っていたのですがグーグルの更新でSharedArrayBufferが定義されてませんとエラーが出て、最近解決の参考にしてたのURLと近い状態になりました。 Chrome 92以降のSharedArrayBuffer警告に対するZOZOTOWNが実施した調査と解決策 CORSを以下のように分離させたらJSライブラリが起動しましたが、...
matafall's user avatar
0
1 回答
635 閲覧数

Laravelを利用してAmazon S3に画像を保存できない

Amazon S3で画像を保存したいと思いましたが、下記エラーで保存ができません。 アクセス権限は許可しています。 putでファイルを送信するとエラーが出力される: .envのアクセスキー及び、シークレットアクセスキーも誤りがないのでそのへんは関係ないのかなとは思うのですが。 ちなみに以下のようにバケットから画像を取得することはできます。 S3のバケットから画像の情報のgetはできるのですが、...
mar's user avatar
  • 1
0
1 回答
940 閲覧数

Amazon S3 から FSx for Windows へのファイルコピー方法を教えて下さい

Lambda (Python) を使用して、S3に保存されたことをトリガーとして FSx for Windows にファイルをコピーしたいです。 しかし、検索エンジンで調べても対象の検索結果が見つかりません。 公式ドキュメントには記載なし: https://docs.aws.amazon.com/ja_jp/fsx/latest/WindowsGuide/what-is.html そもそも S3 ...
eng_enjoylife's user avatar
0
1 回答
826 閲覧数

Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。

環境 ruby 2.6.5 rails 6 MySQL M1チップ搭載macOS 解決したいこと Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。 AWS_ACCESS_KEY_ID AWS_SECRET_ACCESS_KEY AWS_REGION をdocker-compose.ymlに記述しましたが、エラーになりました。 ...
yunyun's user avatar
  • 49
0
2 回答
4,499 閲覧数

Amazon S3 からファイルを直接ダウンロードするようなWebAPIはどのように作れば良いか?

ASP.NET .NET Frameworkを利用してWebAPIを開発しています。 クラウドストレージ(AWSのS3)にファイルを配置し、それをダウンロードさせるWebAPIを作りたいと考えています。 以下のような形で作成し、ダウンロードできることは確認しました。 しかしこのやり方だとWebAPIのサーバーにファイルができるまで呼び出し元が待たされることになります。 ...
T.Shimizu's user avatar
-2
2 回答
542 閲覧数

S3サーバーから取得したファイルを結合したい

S3サーバーから取得したファイルとアップロードしたファイルを結合したいと考えて 下記のコードを作成いたしました。 public function uploadJoin(Request $request) { $file = $request->file('file'); $content = \Storage::disk('s3')->get( $file_name );...
fujigiwa2's user avatar
1
1 回答
549 閲覧数

S3の署名付きURLにInternet Explorerでアクセスすると「このページを表示できません」エラーになる

お世話になっております。 PHPでS3からファイルをダウンロードするための署名付きURLを生成しているのですが、URLが長すぎる(約4,000文字前後)ためか、InternetExplorerでアクセスすると、エラーになってしまいます。 ちなみに、FirefoxやGoogleChromeで開けることは確認できました。 何かよい対処法はないでしょうか。 もしくは、...
user29034's user avatar
  • 797
0
1 回答
780 閲覧数

S3サーバーからEC2サーバーにファイルをダウンロードしたい。

laravelで開発しております。 初歩的な質問かと思いますが、S3サーバーからEC2サーバーへはどのようにしてファイルをダウンロードするのでしょうか。 こちらバイト配列としてダウンロードできるのでしょうか。 S3サーバーからファイルを取得して、末尾にバイト配列を結合して、再びS3サーバーにファイルを上書き保存することを考えております。 よろしくお願い致します。 4/18 追記になります。 ...
fujigiwa2's user avatar
0
0 回答
3,912 閲覧数

python boto3を使用してaws s3のオブジェクトを一括ダウンロードしたい

現在非常にもどかしい状態になっているので、どうかお力添えを頂けましたら幸いです。 S3にある複数のオブジェクトをpythonのboto3を使用してダウンロードしようとしています。 その際にオブジェクトをワイルドカードを使用してダウンロードしたいのですができません。 AWS CLIであれば下記コマンドで実現できる処理です。 aws s3 cp  --recursive \ --exclude '...
H Shiraishi's user avatar
0
1 回答
263 閲覧数

AWSのEBSスナップショット一覧を取得してメールする方法

現在AWSのEC2を使用しているシステムで日々EBSスナップショットを取得していますが、顧客から一ヶ月毎にスナップショットを一覧にしてメール送付して欲しいとの要求がありました。(スナップショットID,ボリュームID,取得日時) EBSスナップショットはライフサイクルマネージャーで取得しS3に保存されていますが、...
ヤマザキノブアキ's user avatar
0
1 回答
6,335 閲覧数

Python から s3 にプロキシ経由でのアクセス時に発生するエラーを解決したい

S3へアクセスする際に例外エラーが発生してアクセスできません。 対処方法などあれば教えて頂けませんでしょうか。 プロキシ周りの設定を変更する必要があるのかその辺りの知見がなく、アドバイス頂けると幸いです。 よろしくお願いします。 実行環境 ネットワーク: 社内ネットワーク Windows10 Pro Python 3.7.9 各パッケージ Package Version boto3 ...
獅子米's user avatar
0
1 回答
286 閲覧数

本番環境でAction_TextでS3に画像をアップロードする際に画像が編集画面にしか表示されない

本番環境下でAction_Textを活用してrich_text_areaからS3に画像をアップロードした際に編集画面からしか画像が表示されません。 ちなみにS3には画像が保存されており、file_fieldでアップロードした画像の表示はできております。 画像が編集画面でのみ表示され、本番環境で表示されないことについてどなたかご存知の方がおられましたらご教示いただけますと幸いです。 ビュー(フォーム)...
net-pixel's user avatar
0
1 回答
521 閲覧数

Active_Storageで投稿した画像をAWS S3にアップロード及びAWS S3から取得した画像を表示

Active_Storageを使用して写真をアップロードする機能を実装しました。 デプロイ後、写真をあげる際にS3を使用してデータベースに保存・からの取得を試みています。 S3に開発環境からアップロードした画像のオブジェクトURLは"https://<バケット名>.s3-ap-northeast-1.amazonaws.com/<キー>"...
net-pixel's user avatar
1
0 回答
77 閲覧数

lambdaで使っているbatchwriterのエラーの原因が解りません。

lambdaで使っているbatchwriterのエラーの原因が解りません。 前回の質問で使った以下のテンプレート https://raw.githubusercontent.com/aws-samples/csv-to-dynamodb/master/CloudFormation/CSVToDynamo.template このテンプレートで作られたs3バケットにcsvをアップすると ...
メイカー's user avatar
0
1 回答
534 閲覧数

AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」での出力ファイルでNULL値と数値の上手い処理の仕方について

環境 AuroraMySQL 5.6.10a (provisioned) ap-northeast-1 以下のテーブルがあったとします。 create table Person ( id varchar(2) NOT NULL, name varchar(10) NOT NULL, age int ) engine=InnoDB ...
takizawanoK's user avatar
1
0 回答
645 閲覧数

AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」で「FORMAT{ CSV|TEXT} [HEADER]」オプションが使用できない

環境 AuroraMySQL 5.6.10a (provisioned) ap-northeast-1 動作OK SELECT * FROM [Table] INTO OUTFILE S3 's3uri' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n'; は正常に実行されますが、...
takizawanoK's user avatar
0
1 回答
2,747 閲覧数

S3 のオブジェクトをアトミックにリネームしたい

特定のバケット内に gzip 圧縮されてるのに拡張子が .json で保存されてるのですが このままだとバッチ処理でうまく gz ファイルと認識してくれないみたいなので .json を .json.gz にリネームしたいです ただすでにサービス運用中でこのバケット内に常にAPIから書き込みがあって json.gz 存在チェック → リネーム という処理がアトミックではないので ...
user avatar
0
1 回答
689 閲覧数

Apache + Fuel PHP に環境変数を渡す方法

Fuel PHP の API サーバーを最近 EC2 に引っ越しして aws-sdk の credentials を削除して EC2 Role を見に行くようにしたのですが 当然ですが非EC2 の docker 上の開発環境で動かなくなりました (いままでは config にキーを書いて読み込んでいたんですがセキュリティ要件でソースにキーをおくのがNGになったため) 単に php ...
user avatar
1
1 回答
1,862 閲覧数

AWS Athena で HIVE_BAD_DATA

AWS Athena で S3 上にある CSV データを読もうとしたら HIVE_BAD_DATA: Error parsing field value '2019-09-09T00:45:29Z' for field 0: For input string: "2019-09-09T00:45:29Z" というエラーが出たのですがこれはどういう意味のエラーなのでしょうか テーブル定義は ...
user avatar
0
1 回答
198 閲覧数

aws cli のように s3 のパスを / 区切りでリストしたい

RubyでAWS S3のオブジェクトの一覧を取得してみた - Qiita こちらを参考に s3 のバケットのリスティングはできたのですが プレフィックス以下のすべてのオブジェクトが表示されてしまいます S3の / はディレクトリではなく単なるパスなので当然ではあるんですが bucket/aaa/111 /222 /bbb/333 /444 ...
user avatar
0
0 回答
648 閲覧数

aws-sdk-php v2 で キーペア無しで EC2 Role を利用してS3アクセスする方法

EC2 上で aws_sdk_ruby を使って Aws::S3::Client.new で引数をつけないで S3 クライアントを作成した ruby プログラムは 自動的に EC2 Role の権限によって動くようなのですが (EC2 に S3Full をつけたりはずしたりすると動いたり動かなかったりする) Fuel 上の aws-sdk-php ...
user avatar
0
1 回答
430 閲覧数

s3へのpythonを使った大きいサイズのfileを大量にuploadする方法

s3へpythonを使って、1GBから5GBのファイルを100個単位でuploadしたいのですが、boto3で試してみたところ、uploadはされるのですが、3mbくらいのファイルがuploadされます。 どのようにすれば良いでしょう??
たくまいわき's user avatar
0
1 回答
95 閲覧数

開発環境、EC2環境で共通のコードで別の権限で S3 にアクセスしたい

ruby で aws-sdk gem を使って S3 にアクセスするプログラムがあるのですが EC2 で動かす分には EC2 Role を割り当てて Aws::S3::Client.new と引数なしで動くのですが EC2 ではない開発環境でこのプログラムを動かしたとき 引数なしの s3 クライアントの credentials は何を参照するのでしょうか ...
user avatar
0
1 回答
191 閲覧数

AWSでS3のs3fsの証明バージョン2から4にバージョンアップ手順について

AWSでS3のs3fsの証明バージョン2から4にバージョンアップする手順について、 教えていただけますでしょうか。 署名バージョン2のままですと、6月24日に廃止のためです。 S3バケット・オブジェクトにアクセスできなくなるためです。 追記 インストールは別の方が何年も前に対応しました。そのため、前任者の対応が不明の状態です。 その方に確認してみます。 以上、よろしくお願いいたします。
pass_f_0201's user avatar
1
0 回答
625 閲覧数

Amazon EMRでS3に書き込みの際に503 Slow Downが発生する

Amazon EMRでPySparkを動かしています。 その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。 コードは以下の通りです。 s3_path = 's3://hoge/huga/' df.write.format('parquet').mode('overwrite').save(s3_path) インスタンスはマスタノード、...
yamap_55's user avatar
  • 784
1
1 回答
776 閲覧数

LumenでS3にファイルを移動&コピーできない

LumenのStorageファサードを利用してS3にファイルを移動&コピーしたいのですが、コピーができません。エラーメッセージは以下です(今回は/var/www/html/storage/logs/lumen.logをコピーします、ファイルは存在します)。 File not found at path: lumen.log filesystems.phpの中身は以下です。 <?...
mk-tool's user avatar
  • 222
0
1 回答
226 閲覧数

awsのREST リクエストの署名(verstion 2)と認証について

現在webサービスのフォーム値をawsのs3に保存しようとしているのですが,v2認証がうまくいきません. awsのドキュメントでは以下の手順で署名を作成するように記述されています. Authorization = "AWS" + " " + AWSAccessKeyId + ":" + Signature; Signature = Base64( HMAC-SHA1( ...
user avatar
0
2 回答
2,788 閲覧数

S3のオブジェクトとエンコード

以下の順序でテキストファイルの整形をしています。 Lambda(node.js)からS3のテキストファイル(.deletes)を取得 Lambdaでテキストの中身を整形 拡張子を.textに変更し、S3にput 3.でS3にputする際に 以下をputパラメータに持たせており、 putしたファイルをS3コンソール上で確認すると、メタデータにそれぞれが設定されていることが確認できました。 ...
user26829's user avatar
1
2 回答
1,119 閲覧数

S3のフォルダの数を取得したい

S3でフォルダの数だけ取得する事ってできますか? 例えば、 jazz/chill/chord_01/xxx.wav jazz/chill/chord_01/xxx.wav jazz/chill/chord_01/xxx.wav jazz/chill/chord_02/xxx.wav jazz/chill/chord_03/xxx.wav という構成の時に、 [jazz/chill/...
Toshiki  Kikuchi's user avatar
1
1 回答
2,140 閲覧数

route53で取得した独自ドメインから、アクセスできない。

webサイトをサーバーにあげるために、AWSの公式ドキュメント(https://docs.aws.amazon.com/AmazonS3/latest/dev/website-hosting-custom-domain-walkthrough.html) )に沿ってS3でバッケット(独自ドメインの名前と同じ)を作り、S3のStatic website ...
tomoya takinami's user avatar