前提
現在、AWSで動かしているアプリケーションにエラーが発生した時に、
あるチケット管理システムに障害チケットを起票する社内用運用監視システムの保守をしています。
アーキテクチャは次のようになっています。
監視対象のアプリケーション
--> AWS CloudWatch Logs
--> サブスクリプションフィルタ
--> AWS Lambda
--> 外部チケット管理システム
課題
監視対象のアプリケーションが何らかの理由で発狂した場合、
エラーログが大量に出力し、その結果、AWS Lambdaが大量に呼ばれる事象が発生しています。
その際に外部チケット管理システムのAPIを叩きにいくため、
API側で429 Too Many Requestsのレスポンスコードを返すことがあり、
たまにチケットが起票されないという問題が生じています。
聞きたいこと
下記の要件を満たすようにアーキテクチャを改善するとしたら、どうすればいいか?
- 一定期間内の外部APIサービスの呼び出しを緩和する方法
- アラートが複数回続いた後、別のアラートが来たら優先度を上げて対応できるようにすること
以上、宜しくお願い致します。