GA4のデータ収集ではサイト丸ごととなっていて、bigqueryのスキャン量の兼ね合いもあるので、URLのパスごと (~~.jp/pathA/***, ~~.jp/pathB/***, ..)にテーブルデータセットを分けて格納し、それぞれの分析を考えています。
テーブルを分けるためbigqueryでクエリを組んでみたのですが、bigqueryのテーブル各データセットにデータテーブルデータが入らず困っています。(テーブル自体の作成はできていて、スキーマは定義されているのは確認しました。)
クエリの流れは、特定の日付を指定して、GA4から取り出されるデータをパスごとにデータセットで分けて、それぞれのテーブルデータセットに日付ごとのテーブルをそのまま突っ込む形です(データセット内テーブルはGA4と同構造)。テーブルがない場合は作成、存在している場合は上書きになります。クエリ実行したところ、スキーマは定義されているのは確認しました。
DECLARE query array<string> default [];
DECLARE exportDatasets array<string>;
DECLARE processdates array<string>;
DECLARE processurl string;
DECLARE analyticsname string;
DECLARE read_tablename string;
DECLARE save_tablename string;
DECLARE table_exists BOOL;
BEGIN
SET processdates = ['20241105']; //処理をしたい日
SET exportDatasets = [
'pathA','pathB'
];
SET analyticsname = '******.analytics_*****';
FOR processdate IN (select elem from UNNEST(processdates) elem) DO
SET read_tablename = concat(analyticsname,'.events_',processdate.elem);
FOR processdataset IN (select elem from UNNEST(exportDatasets) elem) DO
SET processurl = concat('\"%https://****.jp/',processdataset.elem,'%\"');
SET save_tablename = concat(processdataset.elem,'_events.events_',processdate.elem);
EXECUTE IMMEDIATE FORMAT("""
CREATE OR REPLACE TABLE %s AS(
with %s as(SELECT *,
(SELECT ep.value.string_value FROM unnest(event_params) ep where ep.key = 'page_location') as page_location,
FROM %s )
select * from %s where page_location LIKE %s)""",
save_tablename, processdataset.elem,read_tablename,processdataset.elem,processurl );
END FOR;
END FOR;
END;
追記
データセットの考え方が間違っていたので修正しました。
Scheduled Queryで単一のパスからの取り出しできていますが、手動かつ複数のパスに対して行いたいです。
Query string: with pathA as(SELECT *, (SELECT ep.value.string_value FROM unnest(event_params) ep where ep.key = 'page_location') as page_location, FROM `****.analytics_****.events_*` WHERE _TABLE_SUFFIX = FORMAT_DATE('%Y%m%d', DATE_SUB(@run_date, INTERVAL 1 DAY)) ) select * from pathA where page_location LIKE '%https://****.jp/pathA%'
Destination table: pathA_{run_time-24h|"%Y%m%d"}
Write preference: WRITE_TRUNCATE