Skip to main content

すべての質問

or でタグ付けされた
絞り込み
並べ替え
タグ付けされた
6
1 回答
1,124 閲覧数

写真共有サービスのような大量の画像を扱うサーバー構成について

現在、インスタグラムのような写真共有アプリを作っています。 サーバーはConoHaを利用しています。 ConoHaのVPSではディスク容量が最大でも500GBまでしか増やせないのですが、仮に500GB近くまで容量がいった時、その場合はどのように対応するのが適切なのでしょうか? もう一つVPSを増やすみたいなやり方なのか、それとも最初からVPSのディスクは利用せず、...
user avatar
5
1 回答
223 閲覧数

s3 に tramp で接続できるようにするには?

aws-cli で、 aws s3 ls や aws s3 cp を利用すれば、 原理的には tramp に乗せることができるような気がします。 内部で aws-cli をたたくことによって、 s3 へのアクセスを tramp で実現することはできますか? できる場合、どうやったらこれは実現できますか? (できる場合について、どう実現するのか、について) もしこれが広すぎる質問ならば、...
Yuki Inoue's user avatar
  • 1.7万
4
1 回答
3,269 閲覧数

awsのs3は独自ドメインでssl対応できますか?

お名前.comでとっているドメインがあります。 ここではexample.comとします。 awsのs3に画像ファイルを置いて、https://img.example.com/というURLでアクセスできるようにしたいのですが、可能でしょうか。 s3は標準でsslに対応してるとの事なので、ネームサーバーの設定だけでいけるのかなと思っているのですが、やったことがないのでわかりません。 ...
user5855's user avatar
  • 1,453
4
1 回答
4,124 閲覧数

ffmpegでs3上のファイルにアクセスしようとすると”Protocol not found"と言われる

現在、表題の問題に悩まされております。 PCローカル上の動画にターミナルよりffmpegで以下のコードを実行するときちんと成功し、ファイルが作られます。 % ffmpeg -i /Users/MacBookProMGX82JA/Desktop/mov_h264_aac.mov -vf trim=0:5 \ /Users/MacBookProMGX82JA/Desktop/...
hudoukei's user avatar
  • 167
3
2 回答
1,454 閲覧数

s3fsとsambaを利用したファイルサーバーにMacから利用できない

同じ状況・解決された方がいましたら返信いただけますでしょうか。 Centos6の環境にs3fsを利用して、AWSのs3をマウントしたサーバーを用意し、 マウントしたディレクトリをsambaで共有設定を行う構成を作成しました。 windowsでアクセスをした際は問題なく操作が出来ますが、 Macから接続した際は、カスタムアクセス権が割り当てられているせいか、 「...
小林裕輝's user avatar
3
0 回答
246 閲覧数

wagtail(Django CMS)アプリをherokuにデプロイ後、読み込みはされるものの画像が反映されない

いまだ問題解決にいたっておらず情報源を増やすため、下記サイトからこちらにマルチポストしました。変更などがあった際には双方にて追記していきます。 大きく変更した部分や状況が変わった部分があるため、以前の文章についてはイタリック体、最新のことについては太字、以前のコードについてはコメントアウトに変更しています。** リンク内容 大まかな現状 様々なサイトなどをみてherokuにデプロイはできたが、...
user47658's user avatar
3
0 回答
266 閲覧数

forkしたHerokuリポジトリへpushできない

herokuにpushすると成功するリポジトリがあります。 これをフォークします。 % heroku fork -a app app-staging      フォークしたリポジトリへpushします。 % git remote add staging [email protected]:app-staging.git  % git push staging master --force    ...
hudoukei's user avatar
  • 167
2
2 回答
5,514 閲覧数

C#でAWS S3に画像アップロード、URL取得

アップロードは下記コードで成功しました。 アップロードしたファイルに 全員に公開と公開したURLを取得したいです。 公式リファレンスは英語で解読できません。 http://docs.aws.amazon.com/sdkfornet/v3/apidocs/Index.html Google検索してもそのような情報はありませんでした。 using (TransferUtility ...
ロイヤルサルーン's user avatar
2
3 回答
1,313 閲覧数

Amazon S3のバケット内にあるファイルをインデックスさせない方法が知りたい

解決したいこと Amazon S3に画像や動画ファイルを保存しています。 このファイルはパブリックにして、見せたい人にだけURLを教えて閲覧してもらっています。 いろんな情報をみると、パブリックにするとクローラーにインデックスされて何かしらの検索でヒットしてしまうという情報をみました。 パブリックにした状態でブラウザの検索結果に表示させないようにしたいです。 発生している問題・エラー ...
yuta0922's user avatar
2
1 回答
2,829 閲覧数

AWSCLIで、s3のバケット内にある全バージョンのファイルを削除するコマンドはありますか?

S3のバケットを削除する必要があり、下記の処理をコマンドで実行したいです。 S3の管理画面からversionをhideからshowに変えて全てのバージョンを表示(http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/UG/managing-objects-versioned-bucket.html を参考) 全てのファイルを選択して削除 ...
default's user avatar
  • 45
2
1 回答
89 閲覧数

s3のIP制御について

S3で画像を管理しているのですが、IPを制限して自分のサーバーからのみアクセス許可をしたいのですが、設定のconditionの中にIPを入れると403が返ってきてアクセスできません。conditionを外すと表示されます。 具体的に設定方法や確認すべき箇所、(あれば)必要なコマンドなどご教示いただけますでしょうか? よろしくお願い致します。 { "Version": "2012-10-...
Ken's user avatar
  • 101
2
1 回答
410 閲覧数

Wordpressで複数の画像をアップロードする際にエラー

AmazonS3とWordpressを連携させてWordpressにメディア画像をアップロードするとS3サーバに送られます。 50枚ほど複数アップロードすると、その中の2~5枚ほどがエラーになります。エラーになったjpgファイルは同じ容量サイズ(500kb)ほどあり、そのjpgURLを開くと This XML file does not appear to have any style ...
ロイヤルサルーン's user avatar
2
2 回答
1,094 閲覧数

AWSのLambdaからLambdaを呼び出したときに、呼び出し先のLambdaからのレスポンスを待たずに呼び出し元のLambdaが処理終了してしまう

PollyでMP3を作成してからS3にアップロードし、URLを返すLambdaを、別のLambdaから呼び出しているのですが、呼び出し先のレスポンスを待たずに呼び出し元のLambdaが先に完了してしまします。呼び出し先のLambdaによるMP3作成は、呼び出し元が完了後に完了する動きになってしまっています。 呼び出し先のLambdaのレスポンスを待ってから、...
masaru.morita's user avatar
2
1 回答
2,236 閲覧数

node.js でS3からイメージファイルを取得したいが、s3.getObject で Forbidden 403 のエラーになる。

S3 にアップロードはできるのですが、node.jsで書いたサーバコードがgetObjectしてS3からファイルを取得しようと思ってるのですが403 Forbiddenエラーになります。 やりたいことはS3にアップロードした写真を読み込んで画面表示させたいのですが、肝心のS3からの画像の取得がうまくいきません。どなたかご教授願えたらと思っています。 どうぞよろしくお願いします。 ...
user3744647's user avatar
1
2 回答
626 閲覧数

HerokuからS3に画像をアップできません。

iOSからS3に画像をアップしたいです。本番環境はHerokuに置いてあり、画像だけをS3に保存したいです。開発はRailsで行っており、libraryはpaperclipを用いています。リンク先を参考にしましたが"status code: 500, headers"というエラーが帰ってくる状況です。 https://devcenter.heroku.com/articles/paperclip-...
Toshi's user avatar
  • 227
1
1 回答
550 閲覧数

S3の署名付きURLにInternet Explorerでアクセスすると「このページを表示できません」エラーになる

お世話になっております。 PHPでS3からファイルをダウンロードするための署名付きURLを生成しているのですが、URLが長すぎる(約4,000文字前後)ためか、InternetExplorerでアクセスすると、エラーになってしまいます。 ちなみに、FirefoxやGoogleChromeで開けることは確認できました。 何かよい対処法はないでしょうか。 もしくは、...
user29034's user avatar
  • 797
1
1 回答
181 閲覧数

動的サイトでのAmazon S3のURLの変更

Rails6で作成したサイトをHerokuを使って表示しております。 画像はAmazon S3を利用しております。 サイト上の画像urlは下記になります。 https://www.example.com/rails/active_storage/・・・・/curry.jpeg 画像urlにアクセスすると下記のAmazon S3のurlに転送されます。 https://example.s3.ap-...
haru-qun's user avatar
1
1 回答
1,863 閲覧数

AWS Athena で HIVE_BAD_DATA

AWS Athena で S3 上にある CSV データを読もうとしたら HIVE_BAD_DATA: Error parsing field value '2019-09-09T00:45:29Z' for field 0: For input string: "2019-09-09T00:45:29Z" というエラーが出たのですがこれはどういう意味のエラーなのでしょうか テーブル定義は ...
user avatar
1
1 回答
776 閲覧数

LumenでS3にファイルを移動&コピーできない

LumenのStorageファサードを利用してS3にファイルを移動&コピーしたいのですが、コピーができません。エラーメッセージは以下です(今回は/var/www/html/storage/logs/lumen.logをコピーします、ファイルは存在します)。 File not found at path: lumen.log filesystems.phpの中身は以下です。 <?...
mk-tool's user avatar
  • 222
1
1 回答
2,142 閲覧数

route53で取得した独自ドメインから、アクセスできない。

webサイトをサーバーにあげるために、AWSの公式ドキュメント(https://docs.aws.amazon.com/AmazonS3/latest/dev/website-hosting-custom-domain-walkthrough.html) )に沿ってS3でバッケット(独自ドメインの名前と同じ)を作り、S3のStatic website ...
tomoya takinami's user avatar
1
1 回答
639 閲覧数

Railsアプリケーション 画像・音声ファイルの置き場所について

Railsを使って管理者が画像ファイルや音声ファイルをアップして、それを第3者が確認できるというアプリを作っています。 機能としては、管理画面でアップしたものを別のトップページで確認できるというシンプルなものなのですが、ファイルの置き場所はどこに置くのが一般的なのでしょうか。 ファイルのアップにはCarrierwaveというgemを使っています。ファイルの保存先は/public/...
r-howk's user avatar
  • 11
1
1 回答
469 閲覧数

rubyからaws-sdkを使おうとするとエラーが起こる

gem install aws-sdk-coreの後に以下の読み込むだけのコードを実行するとエラーになってしまします。 どこから原因を探せばよいのか、もしくはどうしたら解決するのかを教えていただけないでしょうか。 require 'rubygems' require 'aws-sdk-core' ↓エラーメッセージ /usr/local/lib/ruby/site_ruby/1.8/...
fybjai's user avatar
  • 193
1
2 回答
1,120 閲覧数

S3のフォルダの数を取得したい

S3でフォルダの数だけ取得する事ってできますか? 例えば、 jazz/chill/chord_01/xxx.wav jazz/chill/chord_01/xxx.wav jazz/chill/chord_01/xxx.wav jazz/chill/chord_02/xxx.wav jazz/chill/chord_03/xxx.wav という構成の時に、 [jazz/chill/...
Toshiki  Kikuchi's user avatar
1
0 回答
268 閲覧数

Node.js 16.xからNode.js 18.xにコード変更したら動作しない

留守番電話を実装するため、下記参考サイトのWAV形式に変換してS3に保存するLambdaを利用して、問題なく動作しておりましたが、Node.js 16.xからNode.js 18.xにコード変更したところ、WAVファイルは作成されますが、中身が0バイトとなり、再生することができません。 参考サイト: 留守番電話3(kinesis Video StreamsデータをWAV形式に変換してS3に保存) -...
user55460's user avatar
1
1 回答
952 閲覧数

Nuxt3で aws-sdk(v2) 使用時に Cannot read properties of undefined (reading 'memoizedProperty') が発生

Nuxt3を使用して、WEBアプリケーションを開発しています。 Nuxt3でaws-sdk(v2)を読み込んだところ、 ローカルのyarn devコマンドでは正常にAWSSDKの実行はできているのですが、 nuxt generate && nuxt startコマンドで表示を行うと、ブラウザのコンソールログに、 Cannot read properties of undefined ...
Buakaw's user avatar
  • 21
1
0 回答
102 閲覧数

googleの更新でSharedArrayBufferが使えなくなったのでAWSのCORSについて教えていただきたいです

javascriptライブラリを使っていたのですがグーグルの更新でSharedArrayBufferが定義されてませんとエラーが出て、最近解決の参考にしてたのURLと近い状態になりました。 Chrome 92以降のSharedArrayBuffer警告に対するZOZOTOWNが実施した調査と解決策 CORSを以下のように分離させたらJSライブラリが起動しましたが、...
matafall's user avatar
1
0 回答
77 閲覧数

lambdaで使っているbatchwriterのエラーの原因が解りません。

lambdaで使っているbatchwriterのエラーの原因が解りません。 前回の質問で使った以下のテンプレート https://raw.githubusercontent.com/aws-samples/csv-to-dynamodb/master/CloudFormation/CSVToDynamo.template このテンプレートで作られたs3バケットにcsvをアップすると ...
メイカー's user avatar
1
0 回答
646 閲覧数

AmazonAuroraMySQLの「SELECT * INTO OUTFILE S3」で「FORMAT{ CSV|TEXT} [HEADER]」オプションが使用できない

環境 AuroraMySQL 5.6.10a (provisioned) ap-northeast-1 動作OK SELECT * FROM [Table] INTO OUTFILE S3 's3uri' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n'; は正常に実行されますが、...
takizawanoK's user avatar
1
0 回答
628 閲覧数

Amazon EMRでS3に書き込みの際に503 Slow Downが発生する

Amazon EMRでPySparkを動かしています。 その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。 コードは以下の通りです。 s3_path = 's3://hoge/huga/' df.write.format('parquet').mode('overwrite').save(s3_path) インスタンスはマスタノード、...
yamap_55's user avatar
  • 784
1
2 回答
1,660 閲覧数

AWS CLI経由でS3上の画像をAmazon Rekognitionに掛けたい

AWS CLI経由で、S3上に配置した画像をAmazon Rekognitionに投げ、文字認識(DetectText)をしたいと思っていますが、エラーでうまくいきません。 aws rekognition detect-text --image "S3Object={Bucket=mybucket,Name=text.jpg}" --region ap-northeast-1 ...
satoda's user avatar
  • 11
1
0 回答
169 閲覧数

QNAPのObject Storage Serverを使っていますがコンテナの中身(リスト)が見れない

QNAPでObject Storage Server(OSS)を使っています。 他のLinuxでs3cmdをインストールしてアクセスしてみました。 QNAPでは sample01 sample02 のコンテナがあります。両方ともPublicにしています。 # s3cmd ls 2009-02-03 16:45 s3://sample01 2009-02-03 16:45 s3://...
Ubunkun's user avatar
  • 1,813
1
0 回答
111 閲覧数

S3からRedShiftにcopyしてもデータが空になってしまう

S3からRedShiftにデータを格納したいのですが、データが空の状態で格納されてしまいます。 (サーバー情報など一部データを伏せております) ・S3に格納してあるデータ {"message":"unixtime:1445847958\tdatetime:26/Oct/2015:17:25:58 +0900\tx-forwaded-for:****\thost:****\tsize:0\...
sakusaku's user avatar
0
2 回答
4,508 閲覧数

Amazon S3 からファイルを直接ダウンロードするようなWebAPIはどのように作れば良いか?

ASP.NET .NET Frameworkを利用してWebAPIを開発しています。 クラウドストレージ(AWSのS3)にファイルを配置し、それをダウンロードさせるWebAPIを作りたいと考えています。 以下のような形で作成し、ダウンロードできることは確認しました。 しかしこのやり方だとWebAPIのサーバーにファイルができるまで呼び出し元が待たされることになります。 ...
T.Shimizu's user avatar
0
1 回答
780 閲覧数

S3サーバーからEC2サーバーにファイルをダウンロードしたい。

laravelで開発しております。 初歩的な質問かと思いますが、S3サーバーからEC2サーバーへはどのようにしてファイルをダウンロードするのでしょうか。 こちらバイト配列としてダウンロードできるのでしょうか。 S3サーバーからファイルを取得して、末尾にバイト配列を結合して、再びS3サーバーにファイルを上書き保存することを考えております。 よろしくお願い致します。 4/18 追記になります。 ...
fujigiwa2's user avatar
0
2 回答
565 閲覧数

rails+carrierwaveでAWSのs3に画像アップロード時Excon::Error::Socket (no address for ...)

状況 環境は下記です。今回はあまり関係ないと思いますがフロントはreact nativeでスマホアプリです。 ruby: 3.0.3 rails: 6.1.4.4 carrierwave: 2.2.3 参考までにサーバーはさくらインターネットのVPSです。OSは標準のCentOS Stream 8 x86_64を利用してます。 carrierwaveの設定は下記の様な感じ。 config....
Masamoto Miyata's user avatar
0
1 回答
832 閲覧数

s3のファイルアップロードしてlambdaを発火させる際にprefixを動的な値にすることはできますか?

やりたいこと 特定のs3のprefixでファイルがアップロードされたときだけlambda関数を実行させたいです。 prefixを動的な値で送りたい。 例を出すとs3のprefix設定でtest/{dynamic-id}/photo-id/にした場合、test/1/photo-idや test/2/photo-idでファイルをアップロードしたら、 lambdaが発火されるが、test/3/...
Masato fromTomato's user avatar
0
1 回答
827 閲覧数

Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。

環境 ruby 2.6.5 rails 6 MySQL M1チップ搭載macOS 解決したいこと Dockerコンテナで既存アプリを起動しましたが投稿がうまくいかず、画像が表示できません。 AWS_ACCESS_KEY_ID AWS_SECRET_ACCESS_KEY AWS_REGION をdocker-compose.ymlに記述しましたが、エラーになりました。 ...
yunyun's user avatar
  • 49
0
1 回答
95 閲覧数

開発環境、EC2環境で共通のコードで別の権限で S3 にアクセスしたい

ruby で aws-sdk gem を使って S3 にアクセスするプログラムがあるのですが EC2 で動かす分には EC2 Role を割り当てて Aws::S3::Client.new と引数なしで動くのですが EC2 ではない開発環境でこのプログラムを動かしたとき 引数なしの s3 クライアントの credentials は何を参照するのでしょうか ...
user avatar
0
1 回答
411 閲覧数

Lambdaを使ってindex.htmlの自動生成について

Lambdaを使ってindex.htmlの自動生成について python boto3を使用し、任意のバケットにindex.htmlを生成できました。 しかし、lambdaにより生成したindex.htmlを開くと、ブラウザにて内容が表示されず、ダウンロードされてしまいます。 試しに同じ内容のファイルを手動でアップロードし、同じ動作を行うと、きちんとブラウザにHTMLが表示されます。 ...
fifi's user avatar
  • 73
0
1 回答
4,998 閲覧数

S3へファイルアップロードしようとすると Missing required client configuration options: version

http://j-caw.co.jp/blog/?p=1100 上記のURLを参考にして、S3へのファイルアップロードを構築しようと考えていますが、以下のようなエラーが出てしまいます。 これは何が原因でしょうか?? Fatal error: Uncaught exception 'InvalidArgumentException' with message 'Missing required ...
rei0328's user avatar
  • 481
0
2 回答
1,486 閲覧数

AWS SDK for PHPを使ってS3に画像をアップロードする

タイトル通りなのですが、CakePHP3にAWS SDK for PHPをインストールし、それを使ってAWSのS3にインストールしようしています。 <?php namespace App\Controller; require('/var/www/html/imagine/src/vendor/autoload.php'); use App\...
chicKer's user avatar
  • 77
0
2 回答
2,109 閲覧数

AWS EC2 S3 CloudFrontについて

現在WordpressをEC2とS3を合併して画像サイトを運営しているのですが、CloudFrontというのを使ったほうが良いのでしょうか? 調べるとCDNはただ単に高速表示させるということなのですが、転送量が多ければ料金が高いということです。 GETリクエスト数 平均ファイルサイズ データ転送量 転送料金 リクエスト料金 合計料金 3千万(100万/日) 100KB 2.8TB $574 ....
ロイヤルサルーン's user avatar
0
1 回答
100 閲覧数

Amazon CroudFront の使い所

現在, JavaScript/Image/CSS を S3 に置いて HTML だけは動的なため別サーバーにあるような作りのサイトを運営しています。 CroudFront を使えば、これらアセットをキャッシュできるので高速になる、というのはわかったのですが、実際の所、S3 でも十分な速度で低価格なのであまり CroudFront の必要性を感じることができません。 そこまで大規模でないサイトで ...
Ho Ki's user avatar
  • 33
0
1 回答
659 閲覧数

Amazon S3 上の画像を独自ドメインの URL で参照することは可能か

Rails 6で作成したブログサイトにて、Amazon S3に保存している投稿画像をHerokuを使って取得してます。 以下のようなurlになります。 https://example.s3.amazonaws.com/uploads/article/picture1/78/window.png ブログのURLのドメインと画像URLのドメインが一致させたいのですが、方法はありますでしょうか? ...
haru-qun's user avatar
0
1 回答
122 閲覧数

pythonを用いてnxlogからAWS S3にログを転送したい。

EC2(Windows)のログをnxlogで収集し、それをAWSのS3に転送したいと考えています。 以下の公式ドキュメントを参照し進めています。 https://docs.nxlog.co/addons/amazon-s3.html しかし、IT初学者であるためよくわかっておらず、苦戦しています。 nxlog、pythonはインストール前提 Boto3をインストール nxlog.confを編集 ...
haruki.maemura's user avatar
0
1 回答
487 閲覧数

S3のリストをReactで表示させたい

AWSのあるバケットに入っているオブジェクトの一覧をReactで表示させたいです。 Javascript S3等で調べてみましたが、わかりやすいものがなく、困っております。 S3への接続するのがまず第一段階でなんとかしたいです。 WebアプリケーションはAmplifyで作成していて、Amplifyのコンポーネントで使えるものがあれば良かったのですが、いまいちでした。 ...
user39728's user avatar
0
1 回答
6,348 閲覧数

Python から s3 にプロキシ経由でのアクセス時に発生するエラーを解決したい

S3へアクセスする際に例外エラーが発生してアクセスできません。 対処方法などあれば教えて頂けませんでしょうか。 プロキシ周りの設定を変更する必要があるのかその辺りの知見がなく、アドバイス頂けると幸いです。 よろしくお願いします。 実行環境 ネットワーク: 社内ネットワーク Windows10 Pro Python 3.7.9 各パッケージ Package Version boto3 ...
獅子米's user avatar
0
1 回答
198 閲覧数

aws cli のように s3 のパスを / 区切りでリストしたい

RubyでAWS S3のオブジェクトの一覧を取得してみた - Qiita こちらを参考に s3 のバケットのリスティングはできたのですが プレフィックス以下のすべてのオブジェクトが表示されてしまいます S3の / はディレクトリではなく単なるパスなので当然ではあるんですが bucket/aaa/111 /222 /bbb/333 /444 ...
user avatar
0
2 回答
2,790 閲覧数

S3のオブジェクトとエンコード

以下の順序でテキストファイルの整形をしています。 Lambda(node.js)からS3のテキストファイル(.deletes)を取得 Lambdaでテキストの中身を整形 拡張子を.textに変更し、S3にput 3.でS3にputする際に 以下をputパラメータに持たせており、 putしたファイルをS3コンソール上で確認すると、メタデータにそれぞれが設定されていることが確認できました。 ...
user26829's user avatar
0
1 回答
146 閲覧数

AWS S3互換環境から互換環境への移行

AWS S3互換のクラウドストレージはいくつかありますが、 このような環境同士で大量データを移行する際に安定して実行できる 方法またはアプリ、コードなどを教えていただけますか。 (S3互換→S3、S3互換→S3互換など) 以下のs3fsでマウント、aws cli syncでコピーが安定していそうですが、 記事にもあるように処理の制御に何か問題はないのか不安があります。 http://blog....
damsoya's user avatar
  • 85