0

Googleドライブに置かれたCSVファイルをGCPのCloudSQL(MySQL)へロードしたいです。
どういったアーキテクチャで実装するのが良いでしょうか?
上記実装に様々な案が考えられ、ベストプラクティスを知りたいです。

※他条件
・毎日1回ないしは1時間に1回といった定期実行をさせたいです
・失敗時のリトライや緊急取込みを考えると手動実行もさせたいです
・取込み後にデータをSQLで成型加工し、分析に利用できるテーブルへ流し込みたいです
 (CSV取込み→生ログ格納用テーブル→SQLで加工→分析用テーブル)
・セキュリティを最低限は担保したいです

ご意見いただけますと幸いです。

5
  • Googleドライブはいろいろなデバイスからアクセスできますが、OSはなにを想定されていますか?windowsの場合通常のフォルダーやドライブと同じように見えていると思いますが、通常のフォルダーからのロードとは何か違う必要があるのでしょうか? 2021年10月12日 2:42
  • コメントありがとうございます。 windowsです。 >通常のフォルダーからのロードとは何か違う必要があるのでしょうか? こちらの質問の意図はどういったことでしょうか? Gドライブ→CloudSQL よりも Winローカルフォルダ → CloudSQL の方が良いのでは?という意図でしょうか? 2021年10月12日 2:50
  • 2
    いただいた条件だけだとベストプラクティスを絞るのは難しい印象です。おそらくベタなやり方はAPIを用いて何らかの言語でMySQLに流し込むという操作になるかなと思いますが、そのためには言語やフレームワークの知識が必要になってきます。そうなると開発及び運用者の習得レベルや運用レベルに合わせてアーキテクチャを選択することになりそうです。難しい条件でないがゆえに選択できる幅が多く、要件でアーキテクチャを決めることができなさそうな印象です。
    – keitaro_so
    2021年10月12日 3:58
  • コメントありがとうございます。「開発及び運用者の習得レベルや運用レベルに合わせてアーキテクチャを選択」やっぱりそうですよね。私も絞り切れないものだったので、ベストプラクティスがあるならばそれに倣おうと思っておったのですが、ご意見参考になりました! 2021年10月12日 4:16
  • >こちらの質問の意図はどういったことでしょうか? Gドライブ→CloudSQL よりも Winローカルフォルダ → CloudSQL の方が良いのでは?という意図でしょうか? いいえ、Googleドライブを意識せず、通常のフォルダーからCSVを読み込む方法でGoogleドライブのフォルダーから読み込めばいいのではないかという意味です。つまりGoogleドライブを意識する必要があるのか、または無いのか?私、Googleドライブを意識する必要はないのではないかという意図です。 2021年10月12日 6:06

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。