Skip to main content

すべての質問

or でタグ付けされた
絞り込み
並べ替え
タグ付けされた
1
1 回答
776 閲覧数

LumenでS3にファイルを移動&コピーできない

LumenのStorageファサードを利用してS3にファイルを移動&コピーしたいのですが、コピーができません。エラーメッセージは以下です(今回は/var/www/html/storage/logs/lumen.logをコピーします、ファイルは存在します)。 File not found at path: lumen.log filesystems.phpの中身は以下です。 <?...
mk-tool's user avatar
  • 222
0
1 回答
191 閲覧数

AWSでS3のs3fsの証明バージョン2から4にバージョンアップ手順について

AWSでS3のs3fsの証明バージョン2から4にバージョンアップする手順について、 教えていただけますでしょうか。 署名バージョン2のままですと、6月24日に廃止のためです。 S3バケット・オブジェクトにアクセスできなくなるためです。 追記 インストールは別の方が何年も前に対応しました。そのため、前任者の対応が不明の状態です。 その方に確認してみます。 以上、よろしくお願いいたします。
pass_f_0201's user avatar
0
1 回答
198 閲覧数

aws cli のように s3 のパスを / 区切りでリストしたい

RubyでAWS S3のオブジェクトの一覧を取得してみた - Qiita こちらを参考に s3 のバケットのリスティングはできたのですが プレフィックス以下のすべてのオブジェクトが表示されてしまいます S3の / はディレクトリではなく単なるパスなので当然ではあるんですが bucket/aaa/111 /222 /bbb/333 /444 ...
user avatar
0
1 回答
430 閲覧数

s3へのpythonを使った大きいサイズのfileを大量にuploadする方法

s3へpythonを使って、1GBから5GBのファイルを100個単位でuploadしたいのですが、boto3で試してみたところ、uploadはされるのですが、3mbくらいのファイルがuploadされます。 どのようにすれば良いでしょう??
たくまいわき's user avatar
1
2 回答
1,120 閲覧数

S3のフォルダの数を取得したい

S3でフォルダの数だけ取得する事ってできますか? 例えば、 jazz/chill/chord_01/xxx.wav jazz/chill/chord_01/xxx.wav jazz/chill/chord_01/xxx.wav jazz/chill/chord_02/xxx.wav jazz/chill/chord_03/xxx.wav という構成の時に、 [jazz/chill/...
Toshiki  Kikuchi's user avatar
1
0 回答
628 閲覧数

Amazon EMRでS3に書き込みの際に503 Slow Downが発生する

Amazon EMRでPySparkを動かしています。 その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。 コードは以下の通りです。 s3_path = 's3://hoge/huga/' df.write.format('parquet').mode('overwrite').save(s3_path) インスタンスはマスタノード、...
yamap_55's user avatar
  • 784
2
2 回答
5,514 閲覧数

C#でAWS S3に画像アップロード、URL取得

アップロードは下記コードで成功しました。 アップロードしたファイルに 全員に公開と公開したURLを取得したいです。 公式リファレンスは英語で解読できません。 http://docs.aws.amazon.com/sdkfornet/v3/apidocs/Index.html Google検索してもそのような情報はありませんでした。 using (TransferUtility ...
ロイヤルサルーン's user avatar
-1
1 回答
2,294 閲覧数

CloudFrontとS3の構成でExpiresが追加できません。

当方はフロントエンジニアでサーバー周りの知識は浅いです。 AWSのEC2でWordpressを使用しS3に保存した画像ファイルをにおいて、CloudFrontからキャッシュさせてたいのですが、ブラウザキャッシュについてExpiresが設定できずに困っています。 解決策もしくは、他のベストプラクティスなどがありましたらご教示ください。 ■構成 Route53→CloudFront→S3(画像のみ)...
ultra00's user avatar
0
1 回答
95 閲覧数

開発環境、EC2環境で共通のコードで別の権限で S3 にアクセスしたい

ruby で aws-sdk gem を使って S3 にアクセスするプログラムがあるのですが EC2 で動かす分には EC2 Role を割り当てて Aws::S3::Client.new と引数なしで動くのですが EC2 ではない開発環境でこのプログラムを動かしたとき 引数なしの s3 クライアントの credentials は何を参照するのでしょうか ...
user avatar
5
1 回答
223 閲覧数

s3 に tramp で接続できるようにするには?

aws-cli で、 aws s3 ls や aws s3 cp を利用すれば、 原理的には tramp に乗せることができるような気がします。 内部で aws-cli をたたくことによって、 s3 へのアクセスを tramp で実現することはできますか? できる場合、どうやったらこれは実現できますか? (できる場合について、どう実現するのか、について) もしこれが広すぎる質問ならば、...
Yuki Inoue's user avatar
  • 1.7万
6
1 回答
1,124 閲覧数

写真共有サービスのような大量の画像を扱うサーバー構成について

現在、インスタグラムのような写真共有アプリを作っています。 サーバーはConoHaを利用しています。 ConoHaのVPSではディスク容量が最大でも500GBまでしか増やせないのですが、仮に500GB近くまで容量がいった時、その場合はどのように対応するのが適切なのでしょうか? もう一つVPSを増やすみたいなやり方なのか、それとも最初からVPSのディスクは利用せず、...
user avatar
2
1 回答
2,829 閲覧数

AWSCLIで、s3のバケット内にある全バージョンのファイルを削除するコマンドはありますか?

S3のバケットを削除する必要があり、下記の処理をコマンドで実行したいです。 S3の管理画面からversionをhideからshowに変えて全てのバージョンを表示(http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/UG/managing-objects-versioned-bucket.html を参考) 全てのファイルを選択して削除 ...
default's user avatar
  • 45
0
1 回答
2,086 閲覧数

Google Chromeでのamazon S3画像へのクロスドメイン接続

S3に配置された画像ファイルをクロスドメイン接続で取得したいのですがGoogle Chromeだけできません。 S3のCORSの設定には下記を設定しています。 <CORSConfiguration> <CORSRule> <AllowedOrigin>*</AllowedOrigin> <AllowedMethod>...
hfujima's user avatar
  • 33
0
1 回答
1,347 閲覧数

AWS SDK for C++ のAws::S3::S3Clientで発生するSEH Exceptionについて

お世話になります。 AWS SDK for C++ を使ってS3にファイルをアップロードする処理を書ています。 ・コード bool hoge() {    Aws::Client::ClientConfiguration config;   config.region = "ap-northeast-1";    Aws::S3::S3Client ...
jaccooo's user avatar
  • 25
1
1 回答
639 閲覧数

Railsアプリケーション 画像・音声ファイルの置き場所について

Railsを使って管理者が画像ファイルや音声ファイルをアップして、それを第3者が確認できるというアプリを作っています。 機能としては、管理画面でアップしたものを別のトップページで確認できるというシンプルなものなのですが、ファイルの置き場所はどこに置くのが一般的なのでしょうか。 ファイルのアップにはCarrierwaveというgemを使っています。ファイルの保存先は/public/...
r-howk's user avatar
  • 11
2
1 回答
2,236 閲覧数

node.js でS3からイメージファイルを取得したいが、s3.getObject で Forbidden 403 のエラーになる。

S3 にアップロードはできるのですが、node.jsで書いたサーバコードがgetObjectしてS3からファイルを取得しようと思ってるのですが403 Forbiddenエラーになります。 やりたいことはS3にアップロードした写真を読み込んで画面表示させたいのですが、肝心のS3からの画像の取得がうまくいきません。どなたかご教授願えたらと思っています。 どうぞよろしくお願いします。 ...
user3744647's user avatar
0
2 回答
2,109 閲覧数

AWS EC2 S3 CloudFrontについて

現在WordpressをEC2とS3を合併して画像サイトを運営しているのですが、CloudFrontというのを使ったほうが良いのでしょうか? 調べるとCDNはただ単に高速表示させるということなのですが、転送量が多ければ料金が高いということです。 GETリクエスト数 平均ファイルサイズ データ転送量 転送料金 リクエスト料金 合計料金 3千万(100万/日) 100KB 2.8TB $574 ....
ロイヤルサルーン's user avatar
0
1 回答
4,998 閲覧数

S3へファイルアップロードしようとすると Missing required client configuration options: version

http://j-caw.co.jp/blog/?p=1100 上記のURLを参考にして、S3へのファイルアップロードを構築しようと考えていますが、以下のようなエラーが出てしまいます。 これは何が原因でしょうか?? Fatal error: Uncaught exception 'InvalidArgumentException' with message 'Missing required ...
rei0328's user avatar
  • 481
0
1 回答
226 閲覧数

awsのREST リクエストの署名(verstion 2)と認証について

現在webサービスのフォーム値をawsのs3に保存しようとしているのですが,v2認証がうまくいきません. awsのドキュメントでは以下の手順で署名を作成するように記述されています. Authorization = "AWS" + " " + AWSAccessKeyId + ":" + Signature; Signature = Base64( HMAC-SHA1( ...
user avatar
4
1 回答
3,269 閲覧数

awsのs3は独自ドメインでssl対応できますか?

お名前.comでとっているドメインがあります。 ここではexample.comとします。 awsのs3に画像ファイルを置いて、https://img.example.com/というURLでアクセスできるようにしたいのですが、可能でしょうか。 s3は標準でsslに対応してるとの事なので、ネームサーバーの設定だけでいけるのかなと思っているのですが、やったことがないのでわかりません。 ...
user5855's user avatar
  • 1,453
0
2 回答
4,882 閲覧数

curlでAmazon S3に画像をアップロードしたい

curlコマンドでS3に画像をアップロードしたいです。 その場合curlコマンドはどのように指定してあげれば良いのか分からずにいます。 テストしたcurlコマンド curl -v -H 'Content-Type: application/json' -H 'Accept: application/json' -X POST -d '{"user" : {"image" : "@test....
みった's user avatar
1
0 回答
169 閲覧数

QNAPのObject Storage Serverを使っていますがコンテナの中身(リスト)が見れない

QNAPでObject Storage Server(OSS)を使っています。 他のLinuxでs3cmdをインストールしてアクセスしてみました。 QNAPでは sample01 sample02 のコンテナがあります。両方ともPublicにしています。 # s3cmd ls 2009-02-03 16:45 s3://sample01 2009-02-03 16:45 s3://...
Ubunkun's user avatar
  • 1,813
0
1 回答
3,886 閲覧数

AWSのS3にphpで画像をアップロード

以下のようなコードを書いているのですが、画像がS3にアップロードされません。 S3のURLは正常に出力されています。 詳しい方、ご教示ください。 //画像関連 $file = date('YmdHis') . $_FILES['top_img']['name']; $img_tmp_name = $_FILES['top_img'][...
rei0328's user avatar
  • 481
2
1 回答
89 閲覧数

s3のIP制御について

S3で画像を管理しているのですが、IPを制限して自分のサーバーからのみアクセス許可をしたいのですが、設定のconditionの中にIPを入れると403が返ってきてアクセスできません。conditionを外すと表示されます。 具体的に設定方法や確認すべき箇所、(あれば)必要なコマンドなどご教示いただけますでしょうか? よろしくお願い致します。 { "Version": "2012-10-...
Ken's user avatar
  • 101
0
1 回答
146 閲覧数

AWS S3互換環境から互換環境への移行

AWS S3互換のクラウドストレージはいくつかありますが、 このような環境同士で大量データを移行する際に安定して実行できる 方法またはアプリ、コードなどを教えていただけますか。 (S3互換→S3、S3互換→S3互換など) 以下のs3fsでマウント、aws cli syncでコピーが安定していそうですが、 記事にもあるように処理の制御に何か問題はないのか不安があります。 http://blog....
damsoya's user avatar
  • 85
3
2 回答
1,454 閲覧数

s3fsとsambaを利用したファイルサーバーにMacから利用できない

同じ状況・解決された方がいましたら返信いただけますでしょうか。 Centos6の環境にs3fsを利用して、AWSのs3をマウントしたサーバーを用意し、 マウントしたディレクトリをsambaで共有設定を行う構成を作成しました。 windowsでアクセスをした際は問題なく操作が出来ますが、 Macから接続した際は、カスタムアクセス権が割り当てられているせいか、 「...
小林裕輝's user avatar
4
1 回答
4,124 閲覧数

ffmpegでs3上のファイルにアクセスしようとすると”Protocol not found"と言われる

現在、表題の問題に悩まされております。 PCローカル上の動画にターミナルよりffmpegで以下のコードを実行するときちんと成功し、ファイルが作られます。 % ffmpeg -i /Users/MacBookProMGX82JA/Desktop/mov_h264_aac.mov -vf trim=0:5 \ /Users/MacBookProMGX82JA/Desktop/...
hudoukei's user avatar
  • 167
0
2 回答
1,486 閲覧数

AWS SDK for PHPを使ってS3に画像をアップロードする

タイトル通りなのですが、CakePHP3にAWS SDK for PHPをインストールし、それを使ってAWSのS3にインストールしようしています。 <?php namespace App\Controller; require('/var/www/html/imagine/src/vendor/autoload.php'); use App\...
chicKer's user avatar
  • 77
0
1 回答
99 閲覧数

s3 bucket を rubygems の置き場として取り扱うような方法・ライブラリはある?

docker には、 docker repository のバックエンドを s3 bucket にすることができます。 https://docs.docker.com/registry/storage-drivers/s3 ふと、同様のことが rubygems でも実現可能なのではないか、と思いました。 質問 rubygems.org のような、 gem ...
Yuki Inoue's user avatar
  • 1.7万
1
2 回答
626 閲覧数

HerokuからS3に画像をアップできません。

iOSからS3に画像をアップしたいです。本番環境はHerokuに置いてあり、画像だけをS3に保存したいです。開発はRailsで行っており、libraryはpaperclipを用いています。リンク先を参考にしましたが"status code: 500, headers"というエラーが帰ってくる状況です。 https://devcenter.heroku.com/articles/paperclip-...
Toshi's user avatar
  • 227
3
1 回答
1,012 閲覧数

CarrierWaveでCrop処理をする際のversionsについて

下記環境で、アップロードした画像を任意の範囲でcroppingするための処理を実装していたのですが、メインの画像ファイルは意図した通りにcropできました。しかし、versionsでの処理が上手く行かなかったので質問させてください。 Rails 4.2.1 CarrierWave 0.10.0 試行するためのプロジェクトも公開しています。 https://github.com/kntmrkm/...
kntmrkm's user avatar
  • 644
0
1 回答
1,099 閲覧数

CarrierWave::SanitizedFileの @original_filename の扱いについて

CarrierWaveのuploaderを持つVoiceというモデルがあり class Voice < ActiveRecord::Base mount_uploader :sound, SoundUploader end これにファイルのアップロードは正常に行えたようなのですが、CarrierWav::SanitizedFileの@...
ironsand's user avatar
  • 3,567
2
1 回答
410 閲覧数

Wordpressで複数の画像をアップロードする際にエラー

AmazonS3とWordpressを連携させてWordpressにメディア画像をアップロードするとS3サーバに送られます。 50枚ほど複数アップロードすると、その中の2~5枚ほどがエラーになります。エラーになったjpgファイルは同じ容量サイズ(500kb)ほどあり、そのjpgURLを開くと This XML file does not appear to have any style ...
ロイヤルサルーン's user avatar
1
0 回答
111 閲覧数

S3からRedShiftにcopyしてもデータが空になってしまう

S3からRedShiftにデータを格納したいのですが、データが空の状態で格納されてしまいます。 (サーバー情報など一部データを伏せております) ・S3に格納してあるデータ {"message":"unixtime:1445847958\tdatetime:26/Oct/2015:17:25:58 +0900\tx-forwaded-for:****\thost:****\tsize:0\...
sakusaku's user avatar
1
1 回答
469 閲覧数

rubyからaws-sdkを使おうとするとエラーが起こる

gem install aws-sdk-coreの後に以下の読み込むだけのコードを実行するとエラーになってしまします。 どこから原因を探せばよいのか、もしくはどうしたら解決するのかを教えていただけないでしょうか。 require 'rubygems' require 'aws-sdk-core' ↓エラーメッセージ /usr/local/lib/ruby/site_ruby/1.8/...
fybjai's user avatar
  • 193
0
1 回答
65 閲覧数

awsのpolicyの作り方を教えてください

{ "Version": "2012-10-11", "Id": "Policy1503119012324", "Statement": [{ "Sid": "Stmt15031190096534", "Effect": "Deny", "Principal": "*", "Action": "*", "Resource": "arn:aws:...
snxpwf's user avatar
  • 2,120
-1
1 回答
177 閲覧数

AWS S3で静的WEBサイトを作ろうと思うのですが

書いた記事を予め用意したテンプレート【記事名.html】にコピペしてカテゴリ別に分けたディレクトリの下にアップロードして記事更新をしていこうと思うのですが、この時一般的なブログサービスとの違いは サイトマップ フィード PING などの投稿した際に各自反映される更新システムがあるのですが、これらを静的WEBサイトに取り組むにはどうすればいいでしょうか? ...
ロイヤルサルーン's user avatar
3
0 回答
266 閲覧数

forkしたHerokuリポジトリへpushできない

herokuにpushすると成功するリポジトリがあります。 これをフォークします。 % heroku fork -a app app-staging      フォークしたリポジトリへpushします。 % git remote add staging [email protected]:app-staging.git  % git push staging master --force    ...
hudoukei's user avatar
  • 167
0
1 回答
100 閲覧数

Amazon CroudFront の使い所

現在, JavaScript/Image/CSS を S3 に置いて HTML だけは動的なため別サーバーにあるような作りのサイトを運営しています。 CroudFront を使えば、これらアセットをキャッシュできるので高速になる、というのはわかったのですが、実際の所、S3 でも十分な速度で低価格なのであまり CroudFront の必要性を感じることができません。 そこまで大規模でないサイトで ...
Ho Ki's user avatar
  • 33
0
0 回答
100 閲覧数

Next.jsでsleep機能をexportしたい

AWSのS3とCloud Frontを用いて、静的Webサイトを公開します。 Next.jsで生成したサイトをアップしたのですが、ローディング画面が機能しません。 page.tsxにて以下のように記述したところ、ローカルでは2700ミリ秒待機してる間に、loading.tsxを表示してくれます。 const sleep = (msec: number) => new Promise((...
どっこいしょ's user avatar