Googleドライブに置かれたCSVファイルをGCPのCloudSQL(MySQL)へロードしたいです。
どういったアーキテクチャで実装するのが良いでしょうか?
上記実装に様々な案が考えられ、ベストプラクティスを知りたいです。
※他条件
・毎日1回ないしは1時間に1回といった定期実行をさせたいです
・失敗時のリトライや緊急取込みを考えると手動実行もさせたいです
・取込み後にデータをSQLで成型加工し、分析に利用できるテーブルへ流し込みたいです
(CSV取込み→生ログ格納用テーブル→SQLで加工→分析用テーブル)
・セキュリティを最低限は担保したいです
ご意見いただけますと幸いです。