Skip to main content

すべての質問

or でタグ付けされた
151 件の質問
絞り込み
並べ替え
タグ付けされた
-2
2 回答
542 閲覧数

S3サーバーから取得したファイルを結合したい

S3サーバーから取得したファイルとアップロードしたファイルを結合したいと考えて 下記のコードを作成いたしました。 public function uploadJoin(Request $request) { $file = $request->file('file'); $content = \Storage::disk('s3')->get( $file_name );...
fujigiwa2's user avatar
1
1 回答
550 閲覧数

S3の署名付きURLにInternet Explorerでアクセスすると「このページを表示できません」エラーになる

お世話になっております。 PHPでS3からファイルをダウンロードするための署名付きURLを生成しているのですが、URLが長すぎる(約4,000文字前後)ためか、InternetExplorerでアクセスすると、エラーになってしまいます。 ちなみに、FirefoxやGoogleChromeで開けることは確認できました。 何かよい対処法はないでしょうか。 もしくは、...
user29034's user avatar
  • 797
0
1 回答
780 閲覧数

S3サーバーからEC2サーバーにファイルをダウンロードしたい。

laravelで開発しております。 初歩的な質問かと思いますが、S3サーバーからEC2サーバーへはどのようにしてファイルをダウンロードするのでしょうか。 こちらバイト配列としてダウンロードできるのでしょうか。 S3サーバーからファイルを取得して、末尾にバイト配列を結合して、再びS3サーバーにファイルを上書き保存することを考えております。 よろしくお願い致します。 4/18 追記になります。 ...
fujigiwa2's user avatar
0
1 回答
1,489 閲覧数

AWSでLambda関数を作成する時に関数に対してロールの割り当てができません

AWSLambdaで関数を作成しようとしていたのですが、ロールの割り当てができずエラーが出てしまいます。 Lambdaのページから、関数の作成→一から作成と進んで、関数名・ランタイムの箇所を入力し、デフォルト実行ロールの変更の箇所は「AWS ポリシーテンプレートから新しいロールを作成」を選択し、ポリシーテンプレートオプションは「基本的なLambda@edgeアクセス権限(...
sasa1009's user avatar
0
0 回答
263 閲覧数

pip install でクロスプラットフォーム用のライブラリを生成したい

lambda_function.py に import pyorc とかいて AWS Lambda にデプロイしたところ [ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': No module named 'pyorc._pyorc' となってしまいます mkdir src cp ...
user avatar
0
0 回答
3,913 閲覧数

python boto3を使用してaws s3のオブジェクトを一括ダウンロードしたい

現在非常にもどかしい状態になっているので、どうかお力添えを頂けましたら幸いです。 S3にある複数のオブジェクトをpythonのboto3を使用してダウンロードしようとしています。 その際にオブジェクトをワイルドカードを使用してダウンロードしたいのですができません。 AWS CLIであれば下記コマンドで実現できる処理です。 aws s3 cp  --recursive \ --exclude '...
H Shiraishi's user avatar
0
2 回答
601 閲覧数

aws lambda 250MB以上の外部パッケージライブラリの読み込み方法

AWS lambda関数をgreengrass coreをインストールしたjetsonにデプロイして、 そのデプロイ先のjetsonに置いてある外部パッケージをLambda関数で使用したいと考えています。 しかし、jetsonに置いてある外部パッケージをimportしようとすると、 greengrassのログにはエラーも何も出力されずLambdaが落ちてしまいます。 ...
kushirokuni's user avatar
0
1 回答
263 閲覧数

AWSのEBSスナップショット一覧を取得してメールする方法

現在AWSのEC2を使用しているシステムで日々EBSスナップショットを取得していますが、顧客から一ヶ月毎にスナップショットを一覧にしてメール送付して欲しいとの要求がありました。(スナップショットID,ボリュームID,取得日時) EBSスナップショットはライフサイクルマネージャーで取得しS3に保存されていますが、...
ヤマザキノブアキ's user avatar
0
1 回答
6,348 閲覧数

Python から s3 にプロキシ経由でのアクセス時に発生するエラーを解決したい

S3へアクセスする際に例外エラーが発生してアクセスできません。 対処方法などあれば教えて頂けませんでしょうか。 プロキシ周りの設定を変更する必要があるのかその辺りの知見がなく、アドバイス頂けると幸いです。 よろしくお願いします。 実行環境 ネットワーク: 社内ネットワーク Windows10 Pro Python 3.7.9 各パッケージ Package Version boto3 ...
獅子米's user avatar
0
1 回答
225 閲覧数

Lambdaで複数のCloudWatchルールを有効化したい

AWSのLambdaで、AWS.CloudWatchEventsクラスのenableRuleを使って複数のCloudWatchルールを有効にしたいのですが、Handlerに渡すイベントの書き方がわかりません。以下のようなエラーが出てしまいます。 以下のenableRuleのリファレンス通りにやった場合の1件だけのステータスの切り替えはうまくいきました。 (https://docs.aws....
heaven56's user avatar
0
1 回答
286 閲覧数

本番環境でAction_TextでS3に画像をアップロードする際に画像が編集画面にしか表示されない

本番環境下でAction_Textを活用してrich_text_areaからS3に画像をアップロードした際に編集画面からしか画像が表示されません。 ちなみにS3には画像が保存されており、file_fieldでアップロードした画像の表示はできております。 画像が編集画面でのみ表示され、本番環境で表示されないことについてどなたかご存知の方がおられましたらご教示いただけますと幸いです。 ビュー(フォーム)...
net-pixel's user avatar
0
2 回答
1,023 閲覧数

Cloud9 web3.py インストール後実行時にglibcのエラーが出るようになった

AWS Cloud9(Amazon Linux)を使用し、Etherreum smartcontractへ接続するLambda+API Gatewayの開発をしています 言語はpython3.6 パッケージのインストールは以下の通りです $ pip install web3==5.11.1 setuptools==49.6.0 -t . $ ../venv/bin/pip install --...
nirgnehol's user avatar
  • 137
0
1 回答
521 閲覧数

Active_Storageで投稿した画像をAWS S3にアップロード及びAWS S3から取得した画像を表示

Active_Storageを使用して写真をアップロードする機能を実装しました。 デプロイ後、写真をあげる際にS3を使用してデータベースに保存・からの取得を試みています。 S3に開発環境からアップロードした画像のオブジェクトURLは"https://<バケット名>.s3-ap-northeast-1.amazonaws.com/<キー>"...
net-pixel's user avatar
0
1 回答
169 閲覧数

AWS Lambda 上で Laravel のクエリビルダを使いたい

Laravel で書かれたAPIサーバーの一部処理をジョブのように定期実行したいです ソースをなるべく変更せずにかつジョブリソース管理しやすいように AWS Lambda 上で Laravel のクエリビルダを動かせるか試しているのですが PHPで書かれたスクリプトをAWS Lambda上で定期実行する こちらの記事を参考にした bootstrap を使って . ├── bootstrap ├── ...
user avatar
0
1 回答
102 閲覧数

cloudfomationでdynamodbのhash+rengeの属性のテーブル作りたいがエラーが出る。

キースキーマをhash+rengeにしたい場合、どう書くのが正しいのでしょう? 起こったエラー 1 validation error detected: Value 'RENGE' at 'keySchema. 2.member.keyType' failed to satisfy constraint: Member must satisfy enum value set: [HASH, ...
サワヤン's user avatar
1
2 回答
789 閲覧数

sam テンプレートの serverless function の tags の書き方

lambda をデプロイする sam deploy コマンドのテンプレートにタグを設定したいのですが Resources: LambdaTest: Type: AWS::Serverless::Function Properties: : Tags: Name: name-test のように書いても CREATE_FAILED ...
user avatar
1
0 回答
77 閲覧数

lambdaで使っているbatchwriterのエラーの原因が解りません。

lambdaで使っているbatchwriterのエラーの原因が解りません。 前回の質問で使った以下のテンプレート https://raw.githubusercontent.com/aws-samples/csv-to-dynamodb/master/CloudFormation/CSVToDynamo.template このテンプレートで作られたs3バケットにcsvをアップすると ...
メイカー's user avatar
0
1 回答
534 閲覧数

AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」での出力ファイルでNULL値と数値の上手い処理の仕方について

環境 AuroraMySQL 5.6.10a (provisioned) ap-northeast-1 以下のテーブルがあったとします。 create table Person ( id varchar(2) NOT NULL, name varchar(10) NOT NULL, age int ) engine=InnoDB ...
takizawanoK's user avatar
1
0 回答
646 閲覧数

AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」で「FORMAT{ CSV|TEXT} [HEADER]」オプションが使用できない

環境 AuroraMySQL 5.6.10a (provisioned) ap-northeast-1 動作OK SELECT * FROM [Table] INTO OUTFILE S3 's3uri' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n'; は正常に実行されますが、...
takizawanoK's user avatar
0
1 回答
2,752 閲覧数

S3 のオブジェクトをアトミックにリネームしたい

特定のバケット内に gzip 圧縮されてるのに拡張子が .json で保存されてるのですが このままだとバッチ処理でうまく gz ファイルと認識してくれないみたいなので .json を .json.gz にリネームしたいです ただすでにサービス運用中でこのバケット内に常にAPIから書き込みがあって json.gz 存在チェック → リネーム という処理がアトミックではないので ...
user avatar
0
1 回答
1,307 閲覧数

Lambda Layer 内の config を読む方法

MySQL をみにいく Lambda が増えてきたので MySQL 接続までの共通コードと 接続設定ファイルを Layer 化したいです /python/mysql.py /mysql.ini /pymysql という構成の Layer を作って mysql.py の中はこんな感じで mysql.ini を読むようにしたいのですが import pymysql ...
user avatar
1
1 回答
764 閲覧数

AWS Lambdaでエラー監視の結果をSlackに通知したい

最近社内で Lambda が増えてきて時々エラーやタイムアウトしてても気付かないことがあり エラー監視して Slack に通知するようなことを行いたいです すでに 20 以上のLambdaが動いていていろんな人が作っているため 1つ1つの Lambda に設定するのは大変なので Lambdaファンクションのエラーを通知したい(ファンクション名も込みで) - Qiita ...
user avatar
0
1 回答
873 閲覧数

API Gateway と Lambda の入力マッピングについて

他の人の作った ApiGateway + Lambda があるのですがパラメータの渡し方がわかりません 統合リクエストが Lambda で マッピングテンプレートが以下のようになっている場合 curl でどう叩けばこの Lambda が起動できますか { "yearA": "$input.params('year')", "monthA": "$input.params('...
user avatar
0
1 回答
401 閲覧数

aws lambdaを使用したサーバーレスな動的webサイトの作成

動的なサーバーレスなウェブサイトを作ってみたく試行錯誤しています。 https://qiita.com/kimihiro_n/items/15cce90ec93625c4445a 上記のようなサイトが理想です。 言語はgoでフレームはginかechoを使用しようと思っています。 apex でデプロイするのですが、あまりうまく行っていません。 goを使用した場合、...
たくまいわき's user avatar
0
1 回答
278 閲覧数

CloudWatchEvent から Lambda を起動する方法

Rails の管理画面で時間を指定して CloudWatchEvents から Lambda を起動するようなタスクを作りたいです (タスクの中身は固定で時間だけユーザが指定できるようにする) とりあえず画面部分は後回しで https://docs.aws.amazon.com/ja_jp/sdk-for-ruby/v3/developer-guide/cw-example-send-...
user avatar
1
0 回答
347 閲覧数

slack のカスタム通知を lambda + API Gateway で作りたいがchallengeが成功しない

slackで新しいチャンネルが作られたときに通知を投稿するため、lambdaとAPI Gatewayで サーバレスの実装を試みています。 参考にしている記事 Slackで新しいチャンネルが作成されたら通知できるようにしてみた! イベント駆動型slack botの実装 最初に、下記URLで、slack側でEvent SubscriptionするためAPIをテストするのですがなかなか成功しません。 ...
t-poyo's user avatar
  • 11
0
1 回答
508 閲覧数

aws lambda を使用して家のプリンタからプリントアウトする方法

aws lambdaを使って、wifiにつないだ、家のプリンタから文書等をプリントアウトすることは可能でしょうか? できれば、やり方や調べ方のアドバイスをお願いします。
たくまいわき's user avatar
0
1 回答
690 閲覧数

Apache + Fuel PHP に環境変数を渡す方法

Fuel PHP の API サーバーを最近 EC2 に引っ越しして aws-sdk の credentials を削除して EC2 Role を見に行くようにしたのですが 当然ですが非EC2 の docker 上の開発環境で動かなくなりました (いままでは config にキーを書いて読み込んでいたんですがセキュリティ要件でソースにキーをおくのがNGになったため) 単に php ...
user avatar
1
1 回答
1,863 閲覧数

AWS Athena で HIVE_BAD_DATA

AWS Athena で S3 上にある CSV データを読もうとしたら HIVE_BAD_DATA: Error parsing field value '2019-09-09T00:45:29Z' for field 0: For input string: "2019-09-09T00:45:29Z" というエラーが出たのですがこれはどういう意味のエラーなのでしょうか テーブル定義は ...
user avatar
0
0 回答
421 閲覧数

API で一定時間後に非同期処理を行うベストプラクティス

EC2 で動いてる Fuel API サーバーで ユーザからリクエストが来た後一定時間経過後に処理(RDS上のMySQLを更新)というようなことがやりたいです ただ API なのでユーザにはすぐに返答を返す必要があるため 非同期で処理をしたいのですがそういう機能はあったりしますか? 単に PHP で fork とか thread とかで分岐してしまえばいいのでしょうか あと Fuel ...
user avatar
0
1 回答
198 閲覧数

aws cli のように s3 のパスを / 区切りでリストしたい

RubyでAWS S3のオブジェクトの一覧を取得してみた - Qiita こちらを参考に s3 のバケットのリスティングはできたのですが プレフィックス以下のすべてのオブジェクトが表示されてしまいます S3の / はディレクトリではなく単なるパスなので当然ではあるんですが bucket/aaa/111 /222 /bbb/333 /444 ...
user avatar
0
0 回答
649 閲覧数

aws-sdk-php v2 で キーペア無しで EC2 Role を利用してS3アクセスする方法

EC2 上で aws_sdk_ruby を使って Aws::S3::Client.new で引数をつけないで S3 クライアントを作成した ruby プログラムは 自動的に EC2 Role の権限によって動くようなのですが (EC2 に S3Full をつけたりはずしたりすると動いたり動かなかったりする) Fuel 上の aws-sdk-php ...
user avatar
0
1 回答
430 閲覧数

s3へのpythonを使った大きいサイズのfileを大量にuploadする方法

s3へpythonを使って、1GBから5GBのファイルを100個単位でuploadしたいのですが、boto3で試してみたところ、uploadはされるのですが、3mbくらいのファイルがuploadされます。 どのようにすれば良いでしょう??
たくまいわき's user avatar
0
1 回答
95 閲覧数

開発環境、EC2環境で共通のコードで別の権限で S3 にアクセスしたい

ruby で aws-sdk gem を使って S3 にアクセスするプログラムがあるのですが EC2 で動かす分には EC2 Role を割り当てて Aws::S3::Client.new と引数なしで動くのですが EC2 ではない開発環境でこのプログラムを動かしたとき 引数なしの s3 クライアントの credentials は何を参照するのでしょうか ...
user avatar
0
1 回答
198 閲覧数

aws api gateway lambdaにおいて、jsonの暗号化

aws api gateway とlambdaで一通りアクセスして、関数を行うところまではできました。 ターミナルでcurl をつかって、httpsでアクセスし、オプションでjsonを渡すのですが、その時の値って暗号化されているのですか?? 質問時は、暗号化はどうしているのか?というふわっとした質問でした。 コメント頂き整理できました。 質問は、https自体の暗号がされているのか? ...
たくまいわき's user avatar
0
1 回答
781 閲覧数

dynamodbの更新をsqlのようにするには

dyanmodbの更新をするには、put,updateが存在しますよね。 そのどちらも存在しないデータであった場合は追加してくれるのですが。 仮に存在しないデータを更新した時追加されず何も変化がない状態にしたい場合(プライマリキーで特定できなかったデータ)はどのように実装しているのでしょう?? 僕の予想では、一度読み出すなどして、ifなどでupdate自体の処理を分岐させると思っております。 ...
たくまいわき's user avatar
0
1 回答
191 閲覧数

AWSでS3のs3fsの証明バージョン2から4にバージョンアップ手順について

AWSでS3のs3fsの証明バージョン2から4にバージョンアップする手順について、 教えていただけますでしょうか。 署名バージョン2のままですと、6月24日に廃止のためです。 S3バケット・オブジェクトにアクセスできなくなるためです。 追記 インストールは別の方が何年も前に対応しました。そのため、前任者の対応が不明の状態です。 その方に確認してみます。 以上、よろしくお願いいたします。
pass_f_0201's user avatar
1
0 回答
628 閲覧数

Amazon EMRでS3に書き込みの際に503 Slow Downが発生する

Amazon EMRでPySparkを動かしています。 その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。 コードは以下の通りです。 s3_path = 's3://hoge/huga/' df.write.format('parquet').mode('overwrite').save(s3_path) インスタンスはマスタノード、...
yamap_55's user avatar
  • 784
0
1 回答
453 閲覧数

serverlessの「cloudwatch log」eventにて複数のlogをトリガーに設定したい

以下の公式のドキュメントを参考に、cloudwatch log をトリガーにイベント発火することはできました。 https://serverless.com/framework/docs/providers/aws/events/cloudwatch-log/ webコンソール上では、複数のcloudwatch log のトリガーを設定できるため、...
gox360's user avatar
  • 11
1
1 回答
776 閲覧数

LumenでS3にファイルを移動&コピーできない

LumenのStorageファサードを利用してS3にファイルを移動&コピーしたいのですが、コピーができません。エラーメッセージは以下です(今回は/var/www/html/storage/logs/lumen.logをコピーします、ファイルは存在します)。 File not found at path: lumen.log filesystems.phpの中身は以下です。 <?...
mk-tool's user avatar
  • 222
0
0 回答
1,287 閲覧数

API GatewayでURLに日本語を含んだリクエストが文字化けしてしまう

API GatewayとLambdaを利用して、RESTfulなapiを開発しているのですが、URLに日本語を含んだリクエストが文字化けしてしまいます。 CloudWatchのログを見ると、API Gatewayの時点で文字化けしているようです。 例えば、GETで"/list/q/画像"にアクセスすると、CloudWatchの方では"GET /list/q/ç»å"...
M.T's user avatar
  • 19
0
1 回答
1,794 閲覧数

AWS Lambdaをnode.jsで利用していて、callback()以降の処理を実行しないようにreturnする必要がありますか?

Lambdaでcallback()のすぐ後にreturnを書いた方が良いかで悩んでいます。 以下のようなスクリプトで、callback以降の console.log()が実行されることを確認しました。 'use strict'; module.exports.helloWorld = (event, context, callback) => { const response = { ...
hiroga's user avatar
  • 465
0
2 回答
694 閲覧数

CloudFormationのStackのParameterが、テンプレート内のデフォルト値を書き換えたにも関わらず更新されない

ローカルでテンプレートファイルを管理しているLambdaのスタックを、 aws cloudformation package aws cloudformation deloy で更新しようとしました。 実際にデプロイは成功し、スタックのテンプレートも更新されております。しかし、パラメータの値が変更されていないので不思議に思っています。 以下のような変更を加えました。 main.yml(...
hiroga's user avatar
  • 465
0
1 回答
226 閲覧数

awsのREST リクエストの署名(verstion 2)と認証について

現在webサービスのフォーム値をawsのs3に保存しようとしているのですが,v2認証がうまくいきません. awsのドキュメントでは以下の手順で署名を作成するように記述されています. Authorization = "AWS" + " " + AWSAccessKeyId + ":" + Signature; Signature = Base64( HMAC-SHA1( ...
user avatar
0
2 回答
2,790 閲覧数

S3のオブジェクトとエンコード

以下の順序でテキストファイルの整形をしています。 Lambda(node.js)からS3のテキストファイル(.deletes)を取得 Lambdaでテキストの中身を整形 拡張子を.textに変更し、S3にput 3.でS3にputする際に 以下をputパラメータに持たせており、 putしたファイルをS3コンソール上で確認すると、メタデータにそれぞれが設定されていることが確認できました。 ...
user26829's user avatar
1
2 回答
1,120 閲覧数

S3のフォルダの数を取得したい

S3でフォルダの数だけ取得する事ってできますか? 例えば、 jazz/chill/chord_01/xxx.wav jazz/chill/chord_01/xxx.wav jazz/chill/chord_01/xxx.wav jazz/chill/chord_02/xxx.wav jazz/chill/chord_03/xxx.wav という構成の時に、 [jazz/chill/...
Toshiki  Kikuchi's user avatar
1
1 回答
2,142 閲覧数

route53で取得した独自ドメインから、アクセスできない。

webサイトをサーバーにあげるために、AWSの公式ドキュメント(https://docs.aws.amazon.com/AmazonS3/latest/dev/website-hosting-custom-domain-walkthrough.html) )に沿ってS3でバッケット(独自ドメインの名前と同じ)を作り、S3のStatic website ...
tomoya takinami's user avatar
1
1 回答
2,306 閲覧数

vpc の lambda からインターネットにアクセスできないのはなぜ?

AWS において、 デフォルトVPCの中のec2のインスタンスからは、普通にインターネットにアクセスできます。 一方、そのような ec2 インスタンスと同じサブネットに対して、 VPC 内 lambda を実行しても、インターネットにアクセスできない様子です。 どうして、同じサブネットなのに、ec2 ではインターネットにアクセスできるのに、 lambda ではアクセスできないのでしょうか。
Yuki Inoue's user avatar
  • 1.7万
0
1 回答
477 閲覧数

AWS Cloud9 pip-3.6 を実行してもエラーになる

アプリケーションフォルダ~/environment/xx/xxをカレントにし、 $ sudo pip-3.6 install requests -t . を実行しました パッケージはカレントに展開されました import requests def lambda_handler(event, context): return '' を作成し、最上段のメニュー右「Run」で実行すると、...
nirgnehol's user avatar
  • 137
0
1 回答
99 閲覧数

s3 bucket を rubygems の置き場として取り扱うような方法・ライブラリはある?

docker には、 docker repository のバックエンドを s3 bucket にすることができます。 https://docs.docker.com/registry/storage-drivers/s3 ふと、同様のことが rubygems でも実現可能なのではないか、と思いました。 質問 rubygems.org のような、 gem ...
Yuki Inoue's user avatar
  • 1.7万