0

特定のバケット内に gzip 圧縮されてるのに拡張子が .json で保存されてるのですが
このままだとバッチ処理でうまく gz ファイルと認識してくれないみたいなので
.json を .json.gz にリネームしたいです

ただすでにサービス運用中でこのバケット内に常にAPIから書き込みがあって
json.gz 存在チェック → リネーム という処理がアトミックではないので
存在チェックの後リネーム処理の間にAPIからの更新処理が割り込まれると
最新データを古いデータで上書きしてしまうことになるのでそういうことが起きないようにしたいです

ファイルシステムだったらロックみたいなことをすると思うのですが
S3のオブジェクトにもロックのようなものはあったりするんでしょうか

あるいはリネーム実行ユーザにcreateはできるけどupdateはできないみたいな
IAM権限が付けられれば実現できるかなと思ったのですが
オブジェクト書き込みに関しては S3:PutObject 権限しかないように見えます

このようなケースでどのような方法を取ればいいかお知恵をお貸しいただけませんか

1 件の回答 1

-1

そもそもS3にはrenameのAPIはないので、copyObject->deleteObjectの操作になります。
copyObjectの場合、当然同名のオブジェクトがあれば失敗しますので、その時は別名にしてcopyを行えばよいかと思います。

サービス停止ができないなら仕方ありませんが、停止可能であれば停止してやるのが一番だとは思いますが。

5
  • > 当然同名のオブジェクトがあれば失敗します 試しに python boto3 で s3.Object(bucket, '%s.gz' % o.key).copy_from(CopySource='%s/%s' % (bucket, o.key)) を実行すると普通にバージョニングが更新されて失敗しないです。スクリプト側あるいはバケット側の設定で特殊なオプションが必要だったりするんでしょうか
    – user35303
    2020年3月24日 6:09
  • すみません、完全に勘違いしていました。copyもapiもありましたね。もうちょっと調べてみます。
    – nazozen
    2020年3月24日 10:01
  • と言うか、元のサービスでオブジェクトを書き込む時に、どうやって重複しないようにしているんでしょうか? たとえば、オブジェクトを書き込む側が複数あれば、存在チェックー>書き込み、と単純にしているなら時間差で同じオブジェクトに書き込む可能性はありますよね? たとえばオブジェクト名の命名規則はないのでしょうか?単純な例だと、連番とか、年月日時分秒msとかがありますが、どのようにしていますか? それとも書き込み側サービスは一つしか走らないのでしょうか? もし命名規則とかがあるなら、それに従えば重複することはないですよね? で、上記とは別に、一つ思いついた方法があります。 元の運用中サービスをAとして、jsonをjson.gzに書き直すサービスをBとします。 Bでjsonを見つけたらそれを読み込み、その内容をAサービスに渡して、Aサービス側で同じ内容で新たなオブジェクトを出力させる。 Aサービスで重複しないように制御しているならそれで重複しないデータが出力できるはずです。 と言うものです。最後に、jsonで終わっているオブジェクトを全部削除する。 Aサービスを少し改造する必要はあるかもしれませんが。
    – nazozen
    2020年3月24日 10:41
  • > オブジェクト名の命名規則はないのでしょうか? <user_id>.json です。user アプリから来た情報を API 経由で S3 に書き込んでるので非常に短いタイミングでAPIを叩くとTCP上でもAPIサーバー上でも順序が入れ替わることは理論上あり得ますが、秒単位で叩かれるようなAPIではないので今のところ問題が起きてないし、また蓄積型のデータで非常に短いスパンのデータが仮に入れ替わってもロスするデータもごくわずかなので許容してるという感じです。ただ今回非同期でリネームをしたいので数分や数十分に1回程度呼ばれるAPIとタイミングがかぶる可能性があって、その際数時間APIが呼ばれてなければ古いデータで上書きしてしまうとロスするデータも数時間分になってしまうのでどうしたものかという感じです。
    – user35303
    2020年3月31日 12:08
  • Aサービス(要はAPIサーバー)と連携するのは最終手段で、外部ロックを用意してバッチで書き換え中はそのユーザファイルにAPIから書き込まないようなロジックを追加すればもちろん可能です。かなり大変なのでそれだったらサービス止めた方が早いかなという感じです。たかがリネームなのでファイルシステムだったら簡単にできそうな内容なので、S3の機能を使って簡単にやる方法はないかお知恵をお借りしたかったんですがやはり難しいのですね…
    – user35303
    2020年3月31日 12:13

この質問に回答するには、ログインする必要があります。