すべての質問
151 件の質問
-2
票
2
回答
542
閲覧数
S3サーバーから取得したファイルを結合したい
S3サーバーから取得したファイルとアップロードしたファイルを結合したいと考えて
下記のコードを作成いたしました。
public function uploadJoin(Request $request)
{
$file = $request->file('file');
$content = \Storage::disk('s3')->get( $file_name );...
1
票
1
回答
550
閲覧数
S3の署名付きURLにInternet Explorerでアクセスすると「このページを表示できません」エラーになる
お世話になっております。
PHPでS3からファイルをダウンロードするための署名付きURLを生成しているのですが、URLが長すぎる(約4,000文字前後)ためか、InternetExplorerでアクセスすると、エラーになってしまいます。
ちなみに、FirefoxやGoogleChromeで開けることは確認できました。
何かよい対処法はないでしょうか。
もしくは、...
0
票
1
回答
780
閲覧数
S3サーバーからEC2サーバーにファイルをダウンロードしたい。
laravelで開発しております。
初歩的な質問かと思いますが、S3サーバーからEC2サーバーへはどのようにしてファイルをダウンロードするのでしょうか。
こちらバイト配列としてダウンロードできるのでしょうか。
S3サーバーからファイルを取得して、末尾にバイト配列を結合して、再びS3サーバーにファイルを上書き保存することを考えております。
よろしくお願い致します。
4/18 追記になります。
...
0
票
1
回答
1,489
閲覧数
AWSでLambda関数を作成する時に関数に対してロールの割り当てができません
AWSLambdaで関数を作成しようとしていたのですが、ロールの割り当てができずエラーが出てしまいます。
Lambdaのページから、関数の作成→一から作成と進んで、関数名・ランタイムの箇所を入力し、デフォルト実行ロールの変更の箇所は「AWS ポリシーテンプレートから新しいロールを作成」を選択し、ポリシーテンプレートオプションは「基本的なLambda@edgeアクセス権限(...
0
票
0
回答
263
閲覧数
pip install でクロスプラットフォーム用のライブラリを生成したい
lambda_function.py に
import pyorc
とかいて AWS Lambda にデプロイしたところ
[ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': No module named 'pyorc._pyorc'
となってしまいます
mkdir src
cp ...
0
票
0
回答
3,913
閲覧数
python boto3を使用してaws s3のオブジェクトを一括ダウンロードしたい
現在非常にもどかしい状態になっているので、どうかお力添えを頂けましたら幸いです。
S3にある複数のオブジェクトをpythonのboto3を使用してダウンロードしようとしています。
その際にオブジェクトをワイルドカードを使用してダウンロードしたいのですができません。
AWS CLIであれば下記コマンドで実現できる処理です。
aws s3 cp
--recursive \
--exclude '...
0
票
2
回答
601
閲覧数
aws lambda 250MB以上の外部パッケージライブラリの読み込み方法
AWS lambda関数をgreengrass coreをインストールしたjetsonにデプロイして、
そのデプロイ先のjetsonに置いてある外部パッケージをLambda関数で使用したいと考えています。
しかし、jetsonに置いてある外部パッケージをimportしようとすると、
greengrassのログにはエラーも何も出力されずLambdaが落ちてしまいます。
...
0
票
1
回答
263
閲覧数
AWSのEBSスナップショット一覧を取得してメールする方法
現在AWSのEC2を使用しているシステムで日々EBSスナップショットを取得していますが、顧客から一ヶ月毎にスナップショットを一覧にしてメール送付して欲しいとの要求がありました。(スナップショットID,ボリュームID,取得日時)
EBSスナップショットはライフサイクルマネージャーで取得しS3に保存されていますが、...
0
票
1
回答
6,348
閲覧数
Python から s3 にプロキシ経由でのアクセス時に発生するエラーを解決したい
S3へアクセスする際に例外エラーが発生してアクセスできません。
対処方法などあれば教えて頂けませんでしょうか。
プロキシ周りの設定を変更する必要があるのかその辺りの知見がなく、アドバイス頂けると幸いです。
よろしくお願いします。
実行環境
ネットワーク: 社内ネットワーク
Windows10 Pro
Python 3.7.9
各パッケージ
Package Version
boto3 ...
0
票
1
回答
225
閲覧数
Lambdaで複数のCloudWatchルールを有効化したい
AWSのLambdaで、AWS.CloudWatchEventsクラスのenableRuleを使って複数のCloudWatchルールを有効にしたいのですが、Handlerに渡すイベントの書き方がわかりません。以下のようなエラーが出てしまいます。
以下のenableRuleのリファレンス通りにやった場合の1件だけのステータスの切り替えはうまくいきました。
(https://docs.aws....
0
票
1
回答
286
閲覧数
本番環境でAction_TextでS3に画像をアップロードする際に画像が編集画面にしか表示されない
本番環境下でAction_Textを活用してrich_text_areaからS3に画像をアップロードした際に編集画面からしか画像が表示されません。
ちなみにS3には画像が保存されており、file_fieldでアップロードした画像の表示はできております。
画像が編集画面でのみ表示され、本番環境で表示されないことについてどなたかご存知の方がおられましたらご教示いただけますと幸いです。
ビュー(フォーム)...
0
票
2
回答
1,023
閲覧数
Cloud9 web3.py インストール後実行時にglibcのエラーが出るようになった
AWS Cloud9(Amazon Linux)を使用し、Etherreum smartcontractへ接続するLambda+API Gatewayの開発をしています
言語はpython3.6
パッケージのインストールは以下の通りです
$ pip install web3==5.11.1 setuptools==49.6.0 -t .
$ ../venv/bin/pip install --...
0
票
1
回答
521
閲覧数
Active_Storageで投稿した画像をAWS S3にアップロード及びAWS S3から取得した画像を表示
Active_Storageを使用して写真をアップロードする機能を実装しました。
デプロイ後、写真をあげる際にS3を使用してデータベースに保存・からの取得を試みています。
S3に開発環境からアップロードした画像のオブジェクトURLは"https://<バケット名>.s3-ap-northeast-1.amazonaws.com/<キー>"...
0
票
1
回答
169
閲覧数
AWS Lambda 上で Laravel のクエリビルダを使いたい
Laravel で書かれたAPIサーバーの一部処理をジョブのように定期実行したいです
ソースをなるべく変更せずにかつジョブリソース管理しやすいように
AWS Lambda 上で Laravel のクエリビルダを動かせるか試しているのですが
PHPで書かれたスクリプトをAWS Lambda上で定期実行する
こちらの記事を参考にした bootstrap を使って
.
├── bootstrap
├── ...
0
票
1
回答
102
閲覧数
cloudfomationでdynamodbのhash+rengeの属性のテーブル作りたいがエラーが出る。
キースキーマをhash+rengeにしたい場合、どう書くのが正しいのでしょう?
起こったエラー
1 validation error detected: Value 'RENGE' at 'keySchema.
2.member.keyType' failed to satisfy constraint: Member must satisfy enum value set: [HASH, ...
1
票
2
回答
789
閲覧数
sam テンプレートの serverless function の tags の書き方
lambda をデプロイする sam deploy コマンドのテンプレートにタグを設定したいのですが
Resources:
LambdaTest:
Type: AWS::Serverless::Function
Properties:
:
Tags:
Name: name-test
のように書いても
CREATE_FAILED ...
1
票
0
回答
77
閲覧数
lambdaで使っているbatchwriterのエラーの原因が解りません。
lambdaで使っているbatchwriterのエラーの原因が解りません。
前回の質問で使った以下のテンプレート
https://raw.githubusercontent.com/aws-samples/csv-to-dynamodb/master/CloudFormation/CSVToDynamo.template
このテンプレートで作られたs3バケットにcsvをアップすると
...
0
票
1
回答
534
閲覧数
AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」での出力ファイルでNULL値と数値の上手い処理の仕方について
環境
AuroraMySQL 5.6.10a (provisioned)
ap-northeast-1
以下のテーブルがあったとします。
create table Person (
id varchar(2) NOT NULL,
name varchar(10) NOT NULL,
age int
) engine=InnoDB
...
1
票
0
回答
646
閲覧数
AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」で「FORMAT{ CSV|TEXT} [HEADER]」オプションが使用できない
環境
AuroraMySQL 5.6.10a (provisioned)
ap-northeast-1
動作OK
SELECT * FROM [Table] INTO OUTFILE S3 's3uri'
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n';
は正常に実行されますが、...
0
票
1
回答
2,752
閲覧数
S3 のオブジェクトをアトミックにリネームしたい
特定のバケット内に gzip 圧縮されてるのに拡張子が .json で保存されてるのですが
このままだとバッチ処理でうまく gz ファイルと認識してくれないみたいなので
.json を .json.gz にリネームしたいです
ただすでにサービス運用中でこのバケット内に常にAPIから書き込みがあって
json.gz 存在チェック → リネーム という処理がアトミックではないので
...
0
票
1
回答
1,307
閲覧数
Lambda Layer 内の config を読む方法
MySQL をみにいく Lambda が増えてきたので MySQL 接続までの共通コードと
接続設定ファイルを Layer 化したいです
/python/mysql.py
/mysql.ini
/pymysql
という構成の Layer を作って
mysql.py の中はこんな感じで mysql.ini を読むようにしたいのですが
import pymysql
...
1
票
1
回答
764
閲覧数
AWS Lambdaでエラー監視の結果をSlackに通知したい
最近社内で Lambda が増えてきて時々エラーやタイムアウトしてても気付かないことがあり
エラー監視して Slack に通知するようなことを行いたいです
すでに 20 以上のLambdaが動いていていろんな人が作っているため
1つ1つの Lambda に設定するのは大変なので
Lambdaファンクションのエラーを通知したい(ファンクション名も込みで) - Qiita
...
0
票
1
回答
873
閲覧数
API Gateway と Lambda の入力マッピングについて
他の人の作った ApiGateway + Lambda があるのですがパラメータの渡し方がわかりません
統合リクエストが Lambda で
マッピングテンプレートが以下のようになっている場合
curl でどう叩けばこの Lambda が起動できますか
{
"yearA": "$input.params('year')",
"monthA": "$input.params('...
0
票
1
回答
401
閲覧数
aws lambdaを使用したサーバーレスな動的webサイトの作成
動的なサーバーレスなウェブサイトを作ってみたく試行錯誤しています。
https://qiita.com/kimihiro_n/items/15cce90ec93625c4445a
上記のようなサイトが理想です。
言語はgoでフレームはginかechoを使用しようと思っています。
apex でデプロイするのですが、あまりうまく行っていません。
goを使用した場合、...
0
票
1
回答
278
閲覧数
CloudWatchEvent から Lambda を起動する方法
Rails の管理画面で時間を指定して CloudWatchEvents から Lambda を起動するようなタスクを作りたいです
(タスクの中身は固定で時間だけユーザが指定できるようにする)
とりあえず画面部分は後回しで
https://docs.aws.amazon.com/ja_jp/sdk-for-ruby/v3/developer-guide/cw-example-send-...
1
票
0
回答
347
閲覧数
slack のカスタム通知を lambda + API Gateway で作りたいがchallengeが成功しない
slackで新しいチャンネルが作られたときに通知を投稿するため、lambdaとAPI Gatewayで
サーバレスの実装を試みています。
参考にしている記事
Slackで新しいチャンネルが作成されたら通知できるようにしてみた!
イベント駆動型slack botの実装
最初に、下記URLで、slack側でEvent SubscriptionするためAPIをテストするのですがなかなか成功しません。
...
0
票
1
回答
508
閲覧数
aws lambda を使用して家のプリンタからプリントアウトする方法
aws lambdaを使って、wifiにつないだ、家のプリンタから文書等をプリントアウトすることは可能でしょうか?
できれば、やり方や調べ方のアドバイスをお願いします。
0
票
1
回答
690
閲覧数
Apache + Fuel PHP に環境変数を渡す方法
Fuel PHP の API サーバーを最近 EC2 に引っ越しして
aws-sdk の credentials を削除して EC2 Role を見に行くようにしたのですが
当然ですが非EC2 の docker 上の開発環境で動かなくなりました
(いままでは config にキーを書いて読み込んでいたんですがセキュリティ要件でソースにキーをおくのがNGになったため)
単に php ...
1
票
1
回答
1,863
閲覧数
AWS Athena で HIVE_BAD_DATA
AWS Athena で S3 上にある CSV データを読もうとしたら
HIVE_BAD_DATA: Error parsing field value '2019-09-09T00:45:29Z' for field 0: For input string: "2019-09-09T00:45:29Z"
というエラーが出たのですがこれはどういう意味のエラーなのでしょうか
テーブル定義は
...
0
票
0
回答
421
閲覧数
API で一定時間後に非同期処理を行うベストプラクティス
EC2 で動いてる Fuel API サーバーで
ユーザからリクエストが来た後一定時間経過後に処理(RDS上のMySQLを更新)というようなことがやりたいです
ただ API なのでユーザにはすぐに返答を返す必要があるため
非同期で処理をしたいのですがそういう機能はあったりしますか?
単に PHP で fork とか thread とかで分岐してしまえばいいのでしょうか
あと Fuel ...
0
票
1
回答
198
閲覧数
aws cli のように s3 のパスを / 区切りでリストしたい
RubyでAWS S3のオブジェクトの一覧を取得してみた - Qiita
こちらを参考に s3 のバケットのリスティングはできたのですが
プレフィックス以下のすべてのオブジェクトが表示されてしまいます
S3の / はディレクトリではなく単なるパスなので当然ではあるんですが
bucket/aaa/111
/222
/bbb/333
/444
...
0
票
0
回答
649
閲覧数
aws-sdk-php v2 で キーペア無しで EC2 Role を利用してS3アクセスする方法
EC2 上で aws_sdk_ruby を使って
Aws::S3::Client.new
で引数をつけないで S3 クライアントを作成した ruby プログラムは
自動的に EC2 Role の権限によって動くようなのですが
(EC2 に S3Full をつけたりはずしたりすると動いたり動かなかったりする)
Fuel 上の aws-sdk-php ...
0
票
1
回答
430
閲覧数
s3へのpythonを使った大きいサイズのfileを大量にuploadする方法
s3へpythonを使って、1GBから5GBのファイルを100個単位でuploadしたいのですが、boto3で試してみたところ、uploadはされるのですが、3mbくらいのファイルがuploadされます。
どのようにすれば良いでしょう??
0
票
1
回答
95
閲覧数
開発環境、EC2環境で共通のコードで別の権限で S3 にアクセスしたい
ruby で aws-sdk gem を使って S3 にアクセスするプログラムがあるのですが
EC2 で動かす分には EC2 Role を割り当てて
Aws::S3::Client.new
と引数なしで動くのですが EC2 ではない開発環境でこのプログラムを動かしたとき
引数なしの s3 クライアントの credentials は何を参照するのでしょうか
...
0
票
1
回答
198
閲覧数
aws api gateway lambdaにおいて、jsonの暗号化
aws api gateway とlambdaで一通りアクセスして、関数を行うところまではできました。
ターミナルでcurl をつかって、httpsでアクセスし、オプションでjsonを渡すのですが、その時の値って暗号化されているのですか??
質問時は、暗号化はどうしているのか?というふわっとした質問でした。
コメント頂き整理できました。
質問は、https自体の暗号がされているのか?
...
0
票
1
回答
781
閲覧数
dynamodbの更新をsqlのようにするには
dyanmodbの更新をするには、put,updateが存在しますよね。
そのどちらも存在しないデータであった場合は追加してくれるのですが。
仮に存在しないデータを更新した時追加されず何も変化がない状態にしたい場合(プライマリキーで特定できなかったデータ)はどのように実装しているのでしょう??
僕の予想では、一度読み出すなどして、ifなどでupdate自体の処理を分岐させると思っております。
...
0
票
1
回答
191
閲覧数
AWSでS3のs3fsの証明バージョン2から4にバージョンアップ手順について
AWSでS3のs3fsの証明バージョン2から4にバージョンアップする手順について、
教えていただけますでしょうか。
署名バージョン2のままですと、6月24日に廃止のためです。
S3バケット・オブジェクトにアクセスできなくなるためです。
追記
インストールは別の方が何年も前に対応しました。そのため、前任者の対応が不明の状態です。
その方に確認してみます。
以上、よろしくお願いいたします。
1
票
0
回答
628
閲覧数
Amazon EMRでS3に書き込みの際に503 Slow Downが発生する
Amazon EMRでPySparkを動かしています。
その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。
コードは以下の通りです。
s3_path = 's3://hoge/huga/'
df.write.format('parquet').mode('overwrite').save(s3_path)
インスタンスはマスタノード、...
0
票
1
回答
453
閲覧数
serverlessの「cloudwatch log」eventにて複数のlogをトリガーに設定したい
以下の公式のドキュメントを参考に、cloudwatch log をトリガーにイベント発火することはできました。
https://serverless.com/framework/docs/providers/aws/events/cloudwatch-log/
webコンソール上では、複数のcloudwatch log のトリガーを設定できるため、...
1
票
1
回答
776
閲覧数
LumenでS3にファイルを移動&コピーできない
LumenのStorageファサードを利用してS3にファイルを移動&コピーしたいのですが、コピーができません。エラーメッセージは以下です(今回は/var/www/html/storage/logs/lumen.logをコピーします、ファイルは存在します)。
File not found at path: lumen.log
filesystems.phpの中身は以下です。
<?...
0
票
0
回答
1,287
閲覧数
API GatewayでURLに日本語を含んだリクエストが文字化けしてしまう
API GatewayとLambdaを利用して、RESTfulなapiを開発しているのですが、URLに日本語を含んだリクエストが文字化けしてしまいます。
CloudWatchのログを見ると、API Gatewayの時点で文字化けしているようです。
例えば、GETで"/list/q/画像"にアクセスすると、CloudWatchの方では"GET /list/q/ç»å"...
0
票
1
回答
1,794
閲覧数
AWS Lambdaをnode.jsで利用していて、callback()以降の処理を実行しないようにreturnする必要がありますか?
Lambdaでcallback()のすぐ後にreturnを書いた方が良いかで悩んでいます。
以下のようなスクリプトで、callback以降の console.log()が実行されることを確認しました。
'use strict';
module.exports.helloWorld = (event, context, callback) => {
const response = {
...
0
票
2
回答
694
閲覧数
CloudFormationのStackのParameterが、テンプレート内のデフォルト値を書き換えたにも関わらず更新されない
ローカルでテンプレートファイルを管理しているLambdaのスタックを、 aws cloudformation package aws cloudformation deloy で更新しようとしました。
実際にデプロイは成功し、スタックのテンプレートも更新されております。しかし、パラメータの値が変更されていないので不思議に思っています。
以下のような変更を加えました。
main.yml(...
0
票
1
回答
226
閲覧数
awsのREST リクエストの署名(verstion 2)と認証について
現在webサービスのフォーム値をawsのs3に保存しようとしているのですが,v2認証がうまくいきません.
awsのドキュメントでは以下の手順で署名を作成するように記述されています.
Authorization = "AWS" + " " + AWSAccessKeyId + ":" + Signature;
Signature = Base64( HMAC-SHA1( ...
0
票
2
回答
2,790
閲覧数
S3のオブジェクトとエンコード
以下の順序でテキストファイルの整形をしています。
Lambda(node.js)からS3のテキストファイル(.deletes)を取得
Lambdaでテキストの中身を整形
拡張子を.textに変更し、S3にput
3.でS3にputする際に 以下をputパラメータに持たせており、
putしたファイルをS3コンソール上で確認すると、メタデータにそれぞれが設定されていることが確認できました。
...
1
票
2
回答
1,120
閲覧数
S3のフォルダの数を取得したい
S3でフォルダの数だけ取得する事ってできますか?
例えば、
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_02/xxx.wav
jazz/chill/chord_03/xxx.wav
という構成の時に、
[jazz/chill/...
1
票
1
回答
2,142
閲覧数
route53で取得した独自ドメインから、アクセスできない。
webサイトをサーバーにあげるために、AWSの公式ドキュメント(https://docs.aws.amazon.com/AmazonS3/latest/dev/website-hosting-custom-domain-walkthrough.html) )に沿ってS3でバッケット(独自ドメインの名前と同じ)を作り、S3のStatic website ...
1
票
1
回答
2,306
閲覧数
vpc の lambda からインターネットにアクセスできないのはなぜ?
AWS において、 デフォルトVPCの中のec2のインスタンスからは、普通にインターネットにアクセスできます。
一方、そのような ec2 インスタンスと同じサブネットに対して、 VPC 内 lambda を実行しても、インターネットにアクセスできない様子です。
どうして、同じサブネットなのに、ec2 ではインターネットにアクセスできるのに、 lambda ではアクセスできないのでしょうか。
0
票
1
回答
477
閲覧数
AWS Cloud9 pip-3.6 を実行してもエラーになる
アプリケーションフォルダ~/environment/xx/xxをカレントにし、
$ sudo pip-3.6 install requests -t .
を実行しました
パッケージはカレントに展開されました
import requests
def lambda_handler(event, context):
return ''
を作成し、最上段のメニュー右「Run」で実行すると、...
0
票
1
回答
99
閲覧数
s3 bucket を rubygems の置き場として取り扱うような方法・ライブラリはある?
docker には、 docker repository のバックエンドを s3 bucket にすることができます。 https://docs.docker.com/registry/storage-drivers/s3
ふと、同様のことが rubygems でも実現可能なのではないか、と思いました。
質問
rubygems.org のような、 gem ...