すべての質問
87 件の質問
6
票
1
回答
1,124
閲覧数
写真共有サービスのような大量の画像を扱うサーバー構成について
現在、インスタグラムのような写真共有アプリを作っています。
サーバーはConoHaを利用しています。
ConoHaのVPSではディスク容量が最大でも500GBまでしか増やせないのですが、仮に500GB近くまで容量がいった時、その場合はどのように対応するのが適切なのでしょうか?
もう一つVPSを増やすみたいなやり方なのか、それとも最初からVPSのディスクは利用せず、...
5
票
1
回答
223
閲覧数
s3 に tramp で接続できるようにするには?
aws-cli で、 aws s3 ls や aws s3 cp を利用すれば、
原理的には tramp に乗せることができるような気がします。
内部で aws-cli をたたくことによって、 s3 へのアクセスを tramp で実現することはできますか?
できる場合、どうやったらこれは実現できますか?
(できる場合について、どう実現するのか、について)
もしこれが広すぎる質問ならば、...
4
票
1
回答
3,269
閲覧数
awsのs3は独自ドメインでssl対応できますか?
お名前.comでとっているドメインがあります。
ここではexample.comとします。
awsのs3に画像ファイルを置いて、https://img.example.com/というURLでアクセスできるようにしたいのですが、可能でしょうか。
s3は標準でsslに対応してるとの事なので、ネームサーバーの設定だけでいけるのかなと思っているのですが、やったことがないのでわかりません。
...
4
票
1
回答
4,124
閲覧数
ffmpegでs3上のファイルにアクセスしようとすると”Protocol not found"と言われる
現在、表題の問題に悩まされております。
PCローカル上の動画にターミナルよりffmpegで以下のコードを実行するときちんと成功し、ファイルが作られます。
% ffmpeg -i /Users/MacBookProMGX82JA/Desktop/mov_h264_aac.mov -vf trim=0:5 \
/Users/MacBookProMGX82JA/Desktop/...
3
票
2
回答
1,454
閲覧数
s3fsとsambaを利用したファイルサーバーにMacから利用できない
同じ状況・解決された方がいましたら返信いただけますでしょうか。
Centos6の環境にs3fsを利用して、AWSのs3をマウントしたサーバーを用意し、
マウントしたディレクトリをsambaで共有設定を行う構成を作成しました。
windowsでアクセスをした際は問題なく操作が出来ますが、
Macから接続した際は、カスタムアクセス権が割り当てられているせいか、
「...
3
票
0
回答
246
閲覧数
wagtail(Django CMS)アプリをherokuにデプロイ後、読み込みはされるものの画像が反映されない
いまだ問題解決にいたっておらず情報源を増やすため、下記サイトからこちらにマルチポストしました。変更などがあった際には双方にて追記していきます。
大きく変更した部分や状況が変わった部分があるため、以前の文章についてはイタリック体、最新のことについては太字、以前のコードについてはコメントアウトに変更しています。**
リンク内容
大まかな現状
様々なサイトなどをみてherokuにデプロイはできたが、...
3
票
0
回答
266
閲覧数
forkしたHerokuリポジトリへpushできない
herokuにpushすると成功するリポジトリがあります。
これをフォークします。
% heroku fork -a app app-staging
フォークしたリポジトリへpushします。
% git remote add staging [email protected]:app-staging.git
% git push staging master --force
...
2
票
2
回答
5,514
閲覧数
C#でAWS S3に画像アップロード、URL取得
アップロードは下記コードで成功しました。
アップロードしたファイルに
全員に公開と公開したURLを取得したいです。
公式リファレンスは英語で解読できません。
http://docs.aws.amazon.com/sdkfornet/v3/apidocs/Index.html
Google検索してもそのような情報はありませんでした。
using (TransferUtility ...
2
票
3
回答
1,313
閲覧数
Amazon S3のバケット内にあるファイルをインデックスさせない方法が知りたい
解決したいこと
Amazon S3に画像や動画ファイルを保存しています。
このファイルはパブリックにして、見せたい人にだけURLを教えて閲覧してもらっています。
いろんな情報をみると、パブリックにするとクローラーにインデックスされて何かしらの検索でヒットしてしまうという情報をみました。
パブリックにした状態でブラウザの検索結果に表示させないようにしたいです。
発生している問題・エラー
...
2
票
1
回答
2,829
閲覧数
AWSCLIで、s3のバケット内にある全バージョンのファイルを削除するコマンドはありますか?
S3のバケットを削除する必要があり、下記の処理をコマンドで実行したいです。
S3の管理画面からversionをhideからshowに変えて全てのバージョンを表示(http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/UG/managing-objects-versioned-bucket.html を参考)
全てのファイルを選択して削除
...
2
票
1
回答
89
閲覧数
s3のIP制御について
S3で画像を管理しているのですが、IPを制限して自分のサーバーからのみアクセス許可をしたいのですが、設定のconditionの中にIPを入れると403が返ってきてアクセスできません。conditionを外すと表示されます。
具体的に設定方法や確認すべき箇所、(あれば)必要なコマンドなどご教示いただけますでしょうか?
よろしくお願い致します。
{
"Version": "2012-10-...
2
票
1
回答
410
閲覧数
Wordpressで複数の画像をアップロードする際にエラー
AmazonS3とWordpressを連携させてWordpressにメディア画像をアップロードするとS3サーバに送られます。
50枚ほど複数アップロードすると、その中の2~5枚ほどがエラーになります。エラーになったjpgファイルは同じ容量サイズ(500kb)ほどあり、そのjpgURLを開くと
This XML file does not appear to have any style ...
2
票
2
回答
1,094
閲覧数
AWSのLambdaからLambdaを呼び出したときに、呼び出し先のLambdaからのレスポンスを待たずに呼び出し元のLambdaが処理終了してしまう
PollyでMP3を作成してからS3にアップロードし、URLを返すLambdaを、別のLambdaから呼び出しているのですが、呼び出し先のレスポンスを待たずに呼び出し元のLambdaが先に完了してしまします。呼び出し先のLambdaによるMP3作成は、呼び出し元が完了後に完了する動きになってしまっています。
呼び出し先のLambdaのレスポンスを待ってから、...
2
票
1
回答
2,236
閲覧数
node.js でS3からイメージファイルを取得したいが、s3.getObject で Forbidden 403 のエラーになる。
S3 にアップロードはできるのですが、node.jsで書いたサーバコードがgetObjectしてS3からファイルを取得しようと思ってるのですが403 Forbiddenエラーになります。
やりたいことはS3にアップロードした写真を読み込んで画面表示させたいのですが、肝心のS3からの画像の取得がうまくいきません。どなたかご教授願えたらと思っています。
どうぞよろしくお願いします。
...
1
票
2
回答
626
閲覧数
HerokuからS3に画像をアップできません。
iOSからS3に画像をアップしたいです。本番環境はHerokuに置いてあり、画像だけをS3に保存したいです。開発はRailsで行っており、libraryはpaperclipを用いています。リンク先を参考にしましたが"status code: 500, headers"というエラーが帰ってくる状況です。 https://devcenter.heroku.com/articles/paperclip-...
1
票
1
回答
550
閲覧数
S3の署名付きURLにInternet Explorerでアクセスすると「このページを表示できません」エラーになる
お世話になっております。
PHPでS3からファイルをダウンロードするための署名付きURLを生成しているのですが、URLが長すぎる(約4,000文字前後)ためか、InternetExplorerでアクセスすると、エラーになってしまいます。
ちなみに、FirefoxやGoogleChromeで開けることは確認できました。
何かよい対処法はないでしょうか。
もしくは、...
1
票
1
回答
181
閲覧数
動的サイトでのAmazon S3のURLの変更
Rails6で作成したサイトをHerokuを使って表示しております。
画像はAmazon S3を利用しております。
サイト上の画像urlは下記になります。
https://www.example.com/rails/active_storage/・・・・/curry.jpeg
画像urlにアクセスすると下記のAmazon S3のurlに転送されます。
https://example.s3.ap-...
1
票
1
回答
1,863
閲覧数
AWS Athena で HIVE_BAD_DATA
AWS Athena で S3 上にある CSV データを読もうとしたら
HIVE_BAD_DATA: Error parsing field value '2019-09-09T00:45:29Z' for field 0: For input string: "2019-09-09T00:45:29Z"
というエラーが出たのですがこれはどういう意味のエラーなのでしょうか
テーブル定義は
...
1
票
1
回答
776
閲覧数
LumenでS3にファイルを移動&コピーできない
LumenのStorageファサードを利用してS3にファイルを移動&コピーしたいのですが、コピーができません。エラーメッセージは以下です(今回は/var/www/html/storage/logs/lumen.logをコピーします、ファイルは存在します)。
File not found at path: lumen.log
filesystems.phpの中身は以下です。
<?...
1
票
1
回答
2,142
閲覧数
route53で取得した独自ドメインから、アクセスできない。
webサイトをサーバーにあげるために、AWSの公式ドキュメント(https://docs.aws.amazon.com/AmazonS3/latest/dev/website-hosting-custom-domain-walkthrough.html) )に沿ってS3でバッケット(独自ドメインの名前と同じ)を作り、S3のStatic website ...
1
票
1
回答
639
閲覧数
Railsアプリケーション 画像・音声ファイルの置き場所について
Railsを使って管理者が画像ファイルや音声ファイルをアップして、それを第3者が確認できるというアプリを作っています。
機能としては、管理画面でアップしたものを別のトップページで確認できるというシンプルなものなのですが、ファイルの置き場所はどこに置くのが一般的なのでしょうか。
ファイルのアップにはCarrierwaveというgemを使っています。ファイルの保存先は/public/...
1
票
1
回答
469
閲覧数
rubyからaws-sdkを使おうとするとエラーが起こる
gem install aws-sdk-coreの後に以下の読み込むだけのコードを実行するとエラーになってしまします。
どこから原因を探せばよいのか、もしくはどうしたら解決するのかを教えていただけないでしょうか。
require 'rubygems'
require 'aws-sdk-core'
↓エラーメッセージ
/usr/local/lib/ruby/site_ruby/1.8/...
1
票
2
回答
1,120
閲覧数
S3のフォルダの数を取得したい
S3でフォルダの数だけ取得する事ってできますか?
例えば、
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_01/xxx.wav
jazz/chill/chord_02/xxx.wav
jazz/chill/chord_03/xxx.wav
という構成の時に、
[jazz/chill/...
1
票
0
回答
268
閲覧数
Node.js 16.xからNode.js 18.xにコード変更したら動作しない
留守番電話を実装するため、下記参考サイトのWAV形式に変換してS3に保存するLambdaを利用して、問題なく動作しておりましたが、Node.js 16.xからNode.js 18.xにコード変更したところ、WAVファイルは作成されますが、中身が0バイトとなり、再生することができません。
参考サイト:
留守番電話3(kinesis Video StreamsデータをWAV形式に変換してS3に保存) -...
1
票
1
回答
952
閲覧数
Nuxt3で aws-sdk(v2) 使用時に Cannot read properties of undefined (reading 'memoizedProperty') が発生
Nuxt3を使用して、WEBアプリケーションを開発しています。
Nuxt3でaws-sdk(v2)を読み込んだところ、
ローカルのyarn devコマンドでは正常にAWSSDKの実行はできているのですが、
nuxt generate && nuxt startコマンドで表示を行うと、ブラウザのコンソールログに、
Cannot read properties of undefined ...
1
票
0
回答
102
閲覧数
googleの更新でSharedArrayBufferが使えなくなったのでAWSのCORSについて教えていただきたいです
javascriptライブラリを使っていたのですがグーグルの更新でSharedArrayBufferが定義されてませんとエラーが出て、最近解決の参考にしてたのURLと近い状態になりました。
Chrome 92以降のSharedArrayBuffer警告に対するZOZOTOWNが実施した調査と解決策
CORSを以下のように分離させたらJSライブラリが起動しましたが、...
1
票
0
回答
77
閲覧数
lambdaで使っているbatchwriterのエラーの原因が解りません。
lambdaで使っているbatchwriterのエラーの原因が解りません。
前回の質問で使った以下のテンプレート
https://raw.githubusercontent.com/aws-samples/csv-to-dynamodb/master/CloudFormation/CSVToDynamo.template
このテンプレートで作られたs3バケットにcsvをアップすると
...
1
票
0
回答
646
閲覧数
AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」で「FORMAT{ CSV|TEXT} [HEADER]」オプションが使用できない
環境
AuroraMySQL 5.6.10a (provisioned)
ap-northeast-1
動作OK
SELECT * FROM [Table] INTO OUTFILE S3 's3uri'
FIELDS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n';
は正常に実行されますが、...
1
票
0
回答
628
閲覧数
Amazon EMRでS3に書き込みの際に503 Slow Downが発生する
Amazon EMRでPySparkを動かしています。
その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。
コードは以下の通りです。
s3_path = 's3://hoge/huga/'
df.write.format('parquet').mode('overwrite').save(s3_path)
インスタンスはマスタノード、...
1
票
2
回答
1,660
閲覧数
AWS CLI経由でS3上の画像をAmazon Rekognitionに掛けたい
AWS CLI経由で、S3上に配置した画像をAmazon Rekognitionに投げ、文字認識(DetectText)をしたいと思っていますが、エラーでうまくいきません。
aws rekognition detect-text --image "S3Object={Bucket=mybucket,Name=text.jpg}" --region ap-northeast-1
...
1
票
0
回答
169
閲覧数
QNAPのObject Storage Serverを使っていますがコンテナの中身(リスト)が見れない
QNAPでObject Storage Server(OSS)を使っています。
他のLinuxでs3cmdをインストールしてアクセスしてみました。
QNAPでは
sample01
sample02
のコンテナがあります。両方ともPublicにしています。
# s3cmd ls
2009-02-03 16:45 s3://sample01
2009-02-03 16:45 s3://...
1
票
0
回答
111
閲覧数
S3からRedShiftにcopyしてもデータが空になってしまう
S3からRedShiftにデータを格納したいのですが、データが空の状態で格納されてしまいます。
(サーバー情報など一部データを伏せております)
・S3に格納してあるデータ
{"message":"unixtime:1445847958\tdatetime:26/Oct/2015:17:25:58 +0900\tx-forwaded-for:****\thost:****\tsize:0\...
0
票
2
回答
4,508
閲覧数
Amazon S3 からファイルを直接ダウンロードするようなWebAPIはどのように作れば良いか?
ASP.NET .NET Frameworkを利用してWebAPIを開発しています。
クラウドストレージ(AWSのS3)にファイルを配置し、それをダウンロードさせるWebAPIを作りたいと考えています。
以下のような形で作成し、ダウンロードできることは確認しました。
しかしこのやり方だとWebAPIのサーバーにファイルができるまで呼び出し元が待たされることになります。
...
0
票
1
回答
780
閲覧数
S3サーバーからEC2サーバーにファイルをダウンロードしたい。
laravelで開発しております。
初歩的な質問かと思いますが、S3サーバーからEC2サーバーへはどのようにしてファイルをダウンロードするのでしょうか。
こちらバイト配列としてダウンロードできるのでしょうか。
S3サーバーからファイルを取得して、末尾にバイト配列を結合して、再びS3サーバーにファイルを上書き保存することを考えております。
よろしくお願い致します。
4/18 追記になります。
...
0
票
2
回答
565
閲覧数
rails+carrierwaveでAWSのs3に画像アップロード時Excon::Error::Socket (no address for ...)
状況
環境は下記です。今回はあまり関係ないと思いますがフロントはreact nativeでスマホアプリです。
ruby: 3.0.3
rails: 6.1.4.4
carrierwave: 2.2.3
参考までにサーバーはさくらインターネットのVPSです。OSは標準のCentOS Stream 8 x86_64を利用してます。
carrierwaveの設定は下記の様な感じ。
config....
0
票
1
回答
832
閲覧数
s3のファイルアップロードしてlambdaを発火させる際にprefixを動的な値にすることはできますか?
やりたいこと
特定のs3のprefixでファイルがアップロードされたときだけlambda関数を実行させたいです。
prefixを動的な値で送りたい。
例を出すとs3のprefix設定でtest/{dynamic-id}/photo-id/にした場合、test/1/photo-idや
test/2/photo-idでファイルをアップロードしたら、
lambdaが発火されるが、test/3/...
0
票
1
回答
827
閲覧数
Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。
環境
ruby 2.6.5
rails 6
MySQL
M1チップ搭載macOS
解決したいこと
Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
AWS_REGION
をdocker-compose.ymlに記述しましたが、エラーになりました。
...
0
票
1
回答
95
閲覧数
開発環境、EC2環境で共通のコードで別の権限で S3 にアクセスしたい
ruby で aws-sdk gem を使って S3 にアクセスするプログラムがあるのですが
EC2 で動かす分には EC2 Role を割り当てて
Aws::S3::Client.new
と引数なしで動くのですが EC2 ではない開発環境でこのプログラムを動かしたとき
引数なしの s3 クライアントの credentials は何を参照するのでしょうか
...
0
票
1
回答
411
閲覧数
Lambdaを使ってindex.htmlの自動生成について
Lambdaを使ってindex.htmlの自動生成について
python boto3を使用し、任意のバケットにindex.htmlを生成できました。
しかし、lambdaにより生成したindex.htmlを開くと、ブラウザにて内容が表示されず、ダウンロードされてしまいます。
試しに同じ内容のファイルを手動でアップロードし、同じ動作を行うと、きちんとブラウザにHTMLが表示されます。
...
0
票
1
回答
4,998
閲覧数
S3へファイルアップロードしようとすると Missing required client configuration options: version
http://j-caw.co.jp/blog/?p=1100
上記のURLを参考にして、S3へのファイルアップロードを構築しようと考えていますが、以下のようなエラーが出てしまいます。
これは何が原因でしょうか??
Fatal error: Uncaught exception 'InvalidArgumentException' with message 'Missing required ...
0
票
2
回答
1,486
閲覧数
AWS SDK for PHPを使ってS3に画像をアップロードする
タイトル通りなのですが、CakePHP3にAWS SDK for PHPをインストールし、それを使ってAWSのS3にインストールしようしています。
<?php
namespace App\Controller;
require('/var/www/html/imagine/src/vendor/autoload.php');
use App\...
0
票
2
回答
2,109
閲覧数
AWS EC2 S3 CloudFrontについて
現在WordpressをEC2とS3を合併して画像サイトを運営しているのですが、CloudFrontというのを使ったほうが良いのでしょうか?
調べるとCDNはただ単に高速表示させるということなのですが、転送量が多ければ料金が高いということです。
GETリクエスト数 平均ファイルサイズ データ転送量 転送料金 リクエスト料金 合計料金
3千万(100万/日) 100KB 2.8TB $574 ....
0
票
1
回答
100
閲覧数
Amazon CroudFront の使い所
現在, JavaScript/Image/CSS を S3 に置いて HTML だけは動的なため別サーバーにあるような作りのサイトを運営しています。
CroudFront を使えば、これらアセットをキャッシュできるので高速になる、というのはわかったのですが、実際の所、S3 でも十分な速度で低価格なのであまり CroudFront の必要性を感じることができません。
そこまで大規模でないサイトで ...
0
票
1
回答
659
閲覧数
Amazon S3 上の画像を独自ドメインの URL で参照することは可能か
Rails 6で作成したブログサイトにて、Amazon S3に保存している投稿画像をHerokuを使って取得してます。
以下のようなurlになります。
https://example.s3.amazonaws.com/uploads/article/picture1/78/window.png
ブログのURLのドメインと画像URLのドメインが一致させたいのですが、方法はありますでしょうか?
...
0
票
1
回答
122
閲覧数
pythonを用いてnxlogからAWS S3にログを転送したい。
EC2(Windows)のログをnxlogで収集し、それをAWSのS3に転送したいと考えています。
以下の公式ドキュメントを参照し進めています。
https://docs.nxlog.co/addons/amazon-s3.html
しかし、IT初学者であるためよくわかっておらず、苦戦しています。
nxlog、pythonはインストール前提
Boto3をインストール
nxlog.confを編集
...
0
票
1
回答
487
閲覧数
S3のリストをReactで表示させたい
AWSのあるバケットに入っているオブジェクトの一覧をReactで表示させたいです。
Javascript S3等で調べてみましたが、わかりやすいものがなく、困っております。
S3への接続するのがまず第一段階でなんとかしたいです。
WebアプリケーションはAmplifyで作成していて、Amplifyのコンポーネントで使えるものがあれば良かったのですが、いまいちでした。
...
0
票
1
回答
6,348
閲覧数
Python から s3 にプロキシ経由でのアクセス時に発生するエラーを解決したい
S3へアクセスする際に例外エラーが発生してアクセスできません。
対処方法などあれば教えて頂けませんでしょうか。
プロキシ周りの設定を変更する必要があるのかその辺りの知見がなく、アドバイス頂けると幸いです。
よろしくお願いします。
実行環境
ネットワーク: 社内ネットワーク
Windows10 Pro
Python 3.7.9
各パッケージ
Package Version
boto3 ...
0
票
1
回答
198
閲覧数
aws cli のように s3 のパスを / 区切りでリストしたい
RubyでAWS S3のオブジェクトの一覧を取得してみた - Qiita
こちらを参考に s3 のバケットのリスティングはできたのですが
プレフィックス以下のすべてのオブジェクトが表示されてしまいます
S3の / はディレクトリではなく単なるパスなので当然ではあるんですが
bucket/aaa/111
/222
/bbb/333
/444
...
0
票
2
回答
2,790
閲覧数
S3のオブジェクトとエンコード
以下の順序でテキストファイルの整形をしています。
Lambda(node.js)からS3のテキストファイル(.deletes)を取得
Lambdaでテキストの中身を整形
拡張子を.textに変更し、S3にput
3.でS3にputする際に 以下をputパラメータに持たせており、
putしたファイルをS3コンソール上で確認すると、メタデータにそれぞれが設定されていることが確認できました。
...
0
票
1
回答
146
閲覧数
AWS S3互換環境から互換環境への移行
AWS S3互換のクラウドストレージはいくつかありますが、
このような環境同士で大量データを移行する際に安定して実行できる
方法またはアプリ、コードなどを教えていただけますか。
(S3互換→S3、S3互換→S3互換など)
以下のs3fsでマウント、aws cli syncでコピーが安定していそうですが、
記事にもあるように処理の制御に何か問題はないのか不安があります。
http://blog....