前提
pythonのgcpのsdkを使ってk8sのクラスタで吐かれたGCPのログを取得したいのですが、web上のLog Explorerとsdkで取得したログに違いがあります。
web上のLog Explorer
https://console.cloud.google.com/logs/query
pythonのsdk(google-cloud-logging)
https://googleapis.dev/python/logging/latest/index.html
web上のLog Explorerで実行するクエリ
resource.type="k8s_container"
resource.labels.namespace_name="xxx-namespace"
resource.labels.container_name="xxx-container"
timestamp\>="2022-09-06"
timestamp\<="2022-09-08"
SDKで取得する場合
from google.cloud import logging_v2
project_id = "xxx"
filter = "resource.type:k8s_container and resource.labels.namespace_name:xxx-namespace and resource.labels.container_name:xxx-container and timestamp>=2022-09-06 and timestamp<=2022-09-08"
logging_client = logging_v2.Client(project=project_id)
for log in logging_client.list_entries(filter_=filter):
write_file("gcp-log.log", log.payload)
上記のスクリプトでいくつかのログは取得できるのですが、Log Explorerのクエリで上記のget_log
の引数に指定しているfilter
と同じ条件でクエリするとsdkで取得できなかったログが表示されています。
確認したこと
sdkでは取得できず、Log Explorerでは表示されているログとどちらの手段でも取得できるログにresource.labels...
やproject_id
などの違いも見当たりませんでした。
version
python: 3.9.6
google-cloud-logging: 3.2.2
どなたかわかる方がいらっしゃいましたらご教授おねがいします。🙇♂️
現在の挙動
Log Explorer
で取得できるログのエントリの中にpythonのライブラリでは取得できないログエントリがある。
期待している挙動
同じ条件だとLog ExplorerとSDKとで同じログエントリを取得できる