所属しているチームでは様々なイベントを監視し、Slackのモニタリングチャンネルへ通知を飛ばしています。
※ エラーログではエラーが発生したCloud Loggingのリンクが貼り付けており、詳細を追従しやすくなっています
この中で、PodのCreate / Deleteを監視しているのですが（画像のPodのデプロイの通知）、デプロイ以外にもGKEノードの自動アップグレードでも通知が飛ぶためその度に「なんで通知走ってるんだっけ？」といった会話がされることがありました。（突然来ると不気味ですしね）
そこで、GKEノードの自動アップグレードがあった際にはSlackへ通知を飛ばすようにしました。
何をしたか？
やったこととしては自動アップグレードイベントを監視するログルーターを作成し、そこからPubSubを通してCloud Functionsを実行し、Slackへ通知を飛ばすようにしています。
今ではCloud Functionsなどを通さずに、ログベースのアラート機能を使うのがベターかもしません。
で、通知を飛ばすまでの処理は他の方々の記事で書いてあると思いますので割愛しまして、肝心要の監視するログは以下のようになります。
さて、これでSlackへ通知を飛ばすようにするとこんな感じに。
先程のPodのデプロイの後に自動アップグレードイベントからの通知が来てますね！
ちょっとしたTipsなのですが監視を強化したい方は是非〜
