[google-bigquery] タグが付いた質問
google-bigquery タグの使い方はまだ書かれていません。
37
質問
0
票
0
回答
24
閲覧数
Google Analytics GA4プロパティからBigQueryへの連携時、一部のイベントパラメータがnullになってしまう
お世話になります。
Google Analytics GA4プロパティにカスタムイベントを送信しています。
このイベントには、以下のパラメータを設定しています。
item_id
item_name
また、当該イベントは各データストリームにおいて以下の方法で送信しています。
iOS/Androidデータストリーム: アプリ側プログラムからイベントを送信
webデータストリーム: ...
0
票
0
回答
100
閲覧数
SQLでテーブルの一部行列をpivot, unpivotで転地したい
こんにちは。下記イメージのようにSQLでテーブルを転置したいです。 pivot, unpivot を調べて試しましたが、上手く実現できませんでした。どのようなSQLを書けばよいでしょうか? なお、UNION ALLで強引に転置する方法は成功しました。
何卒ご教示お願い致します。
イメージ
転置前
転置後
比較
サンプルのテーブルを作るSQL例
CREATE TABLE {{table ...
0
票
0
回答
34
閲覧数
UNNESTして取得したJSONをgroup byしたい。
BigQueryでJSONでキー指定されて保存されたカラムをUNNESTして、["11","24"]の状態で取得できたのですが、
これを更にUNNESTしてc(11や24など)でgroup by したいのですが、下記SQLだとエラーになってしまいます。
どのように記載すれば、下記のような表になるでしょうか?
test|11
test|24
WITH
data ...
0
票
0
回答
244
閲覧数
PythonでBigQueryの取り込み時間パーティション分割テーブルにパーティションを指定してInsertする方法
概要
Pythonで取り込み時間パーティション分割テーブルにパーティションを指定して取り込むにはどのようにしたら良いでしょうか。
試したこと
SQLで挿入する際には以下のように可能であることはわかりました。
https://cloud.google.com/bigquery/docs/using-dml-with-partitioned-tables
が、Pythonでの記載方法がわかりません。
...
0
票
0
回答
86
閲覧数
queryメソッドを使用すると”TypeError: string indices must be integers”とエラーが発生してしまう
■やりたいこと
big queryのテーブルをqueryメソッドを使い操作したい
■やったこと
こちらのURLのスクリプトをそのまま実行
https://googleapis.dev/python/bigquery/latest/usage/queries.html
■起きたこと
最初は問題なく動いたが、何故か途中でエラーがでてしまうようになった
エラー内容:TypeError: string ...
0
票
0
回答
94
閲覧数
bigquery ライブラリで client.query() の役割が分からない
以下のページを参考に、Big queryにあるテーブルの情報を
Pythonを使い抽出できるように練習をしています。
https://cloud.google.com/bigquery/docs/samples/bigquery-query?hl=ja#bigquery_query-python
コードはサンプルにあるように以下のようになります。
from google.cloud import ...
0
票
0
回答
83
閲覧数
Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい
Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて
CSVで出力したいと考えています。
Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら
教えていただけますと幸いです。以下が試したことになります。
1.Big queryにテーブルstringsA, strinsBを2つ作成
stringsA
id
name
...
0
票
1
回答
97
閲覧数
bigqueryで特定の構造体をもつレコードのみ出力する方法
サンプルとして以下のjsonデータを登録します。
例えば一行目のHistory構造体を持つレコードのみ出力するsql文を書くために
Books.Historyのサイズを取得して比較したいのですが、やり方はないでしょうか?
◆JSONファイル:
{"User":{"Name":"aaaaa","age":"20&...
0
票
0
回答
54
閲覧数
BigQueryとGA4を連携しているが、データテーブルが作成されなくなった
BigQueryとGA4を連携してデータを取得していたのですが、ある日を境にデータテーブルが作られなくなってしまい、4日間ほどBigQueryのデータテーブルがありません。
GA4側ではwebページのアクセス情報は取得できていますので、GA4とBigQueryの連携がうまくできていないと思われえます。何か確認すべき点あればご教授頂けないでしょうか。
無料プランだがまだクレジットは残っており、...
0
票
0
回答
61
閲覧数
Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい
やりたい・やりたかったこと
スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?)
BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい
その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい
今回は技術的詳細に関する質問というよりは、上記のような、...
0
票
1
回答
93
閲覧数
SQL テーブル上の2つのそれぞれの値を、1つのテーブルから参照する効率的な方法
SQLのJOINの方法で、効率的な方法を探しています。
言葉で説明するのが難しく・・・テーブルで説明します
(環境はBigQuery standardSQLです)
table_A
ID
name
departure
arrival
1
sato
100
200
2
suzuki
200
300
3
tanaka
300
200
table_B
ID
spot
100
tokyo
...
2
票
0
回答
134
閲覧数
BigQueryでカラム内のカンマで分割してフラグ作成する方法
【BigQuery】でのデータ加工についてご質問させてください。
カラム内にカンマ区切りで入っている、下記のようなデータがあります。
SELECT
"A" AS year , "1,2,5" AS product
UNION ALL SELECT "A" AS year , "1,2,5" AS product
...
0
票
0
回答
73
閲覧数
AWSからGCPへSTSを利用したアクセス時にNode.jsでは正常だが、PHPではエラーになる
AWS の IAM ロールと GCP のサービスアカウントを紐付けて鍵なしでアクセスする方法
上記サイトを参考に構築し、Node.jsでは正常に動作します。
PHPで実装をしていると、「Google\Cloud\Core\Exception\ServiceException」が発生します。
場所は、「vendor/google/cloud/Core/src/RequestWrapper.php」...
1
票
1
回答
222
閲覧数
SQLを用いて、複数システム同一ユーザーのIDを紐付けしてIDを振るロジック
複数システムのそれぞれ独自のユーザーIDに対して、同一ユーザーのIDを紐付けるためのユニークIDを振りたいと考えています。
SQLでどのようなロジックにすれば良いか、頭を悩ませておりまして、助言いただけませんでしょうか。
同一ユーザーを紐付けたテーブルはあります。これを元に「同一ユーザーを区別するための」ユニークIDを振りたいです。
複数システムの同一ユーザーを紐付けるため、...
0
票
1
回答
5,439
閲覧数
指定した期間内のデータ抽出方法について: No matching signature for operator BETWEEN for argument types: TIMESTAMP, DATE, DATE
やりたいこと
ビッグクエリのデータテーブルに対し、特定のカラム(タイムスタンプ型)を指定して任意の期間内のデータのみ抽出したい。
抽出条件
・satei_date が 2か月以内
現状のエラー
以下の通りクエリを記載しておりますが、エラーが出る状況です。
原因と修正方法についてご教示いただけますと幸いです。
クエリ
WHERE satei_date BETWEEN CURRENT_DATE() ...
0
票
1
回答
423
閲覧数
Google BigQueryの結果をPythonで複数Json形式で返す方法
以下のことを実行できるAPIをPythonのフレームワークのFlaskで作成しております。
SQLを実行する先のDBはGoogle BigQueryを使用しております。
①複数のレクエストパラメーター(luid)をリストで取得し、ループ処理でそれぞれを変数に格納
②①の変数をWhere区の条件に使用しSQLを実行する
*...
1
票
1
回答
757
閲覧数
BigQueryで取り込んだGAデータのdateを日付型に変えたい
以下のような簡単なコードなのですが、dataをcast(data as date) as dateとしてデータ型をStringからDateに変えたいのですが、エラーがでます。解決策をどなたかお教え願えませんか。
SELECT
date,
product.productSKU,
SUM(totals.pageviews) AS pageview,
SUM(totals.visits)...
1
票
0
回答
31
閲覧数
sum(if(...))の数が多いとWebUIからのクエリ実行ができない
あるテーブルを縦持ちから横持ちに変換(pivot)しようとしたところ、
カラム数が一定数を超えるとクエリが実行できなくなってしまいました。
構文エラーやエラーチェックなどはでず、単に「クエリが実行できません」というトーストがでます。
具体的には以下のようなクエリになります。
with sub as (
select
prime
,number
,sum(prime * ...
0
票
1
回答
156
閲覧数
BQ→データポータルの更新について
データポータルなのでここでの質問が適切かわかりませんが、、。
BQに入ってきたデータを、リアルタイムにデータポータルに表示させる
やり方がわかりません。知っている方がおられましたら、教えてください!
0
票
1
回答
95
閲覧数
bigqueryで2つのマスタからユニークkeyを作りたい
bigqueryというよりも、sqlの初歩的な質問になると思うのですが、
下記について困っています。
以下のような2種類のテーブルがあります。
①T_DATE
DATE,
2019-01-01
2019-01-02
2019-01-03
・・・
②T_PRODUCT
PRODUCT,
A
B
C
・・・
この種類のマスタテーブルから、
以下のようなテーブルを新規で作りたいです。
③...
1
票
1
回答
860
閲覧数
配列の中に複数の条件全てみたすレコードを抽出する
対象はGooleCloudBigqueryですが、Postgres等Arrayを持っているDBも同様と思います
id:1, arr_val: [{"a":"111"},{"a":"222"},{"a":"333"}]
id:2, arr_val: [{"a":"222"},{"a":"444"},{"a":"666"}]
・・・
といったデータ構造の時に
"a"...
2
票
0
回答
61
閲覧数
(Google Cloud PlatformのCompute Engineでシェルスクリプトを使い)SQL(BigQuery)を操作する際、日別でテーブルを作成する方法について
シェルスクリプトについての質問です。
最下部にサンプルコードの掲載しました。
シェルでループを回し、”一日毎に”(BigQueryを操作して)日別のテーブルを作成したいと考えております。
*(BigQueryの)記述内容に関して、日付指定の箇所以外は同様のもの
上記、日付部分を操作する為、以下のイメージを考えてます。
1.テーブル作成する為のクエリーをシェルでループ処理
2.ただし、上記の「...
1
票
1
回答
217
閲覧数
firebase authentication の情報をBigqueryに流し込めず困っています。
解析のために認証情報を取り扱うために使っているfirebaseのauthenticationの認証情報をBigQueryに流し込みたいと考えているのですが、うまくいっておりません。
https://support.google.com/firebase/answer/6318765?authuser=0
に書かれているようにBigQueryとfirebaseをリンクしてみたのですが、...
0
票
1
回答
660
閲覧数
bigquery-pythonでcreate_dataset, create_tableが動かない
bigquery-pythonを使って、ツイッターのデータをビッグクエリにインポートしようとしているのですができません。
どうやら、create_tableができていないみたいです。問題の部分だけ抽出すると以下のコードです。
import bigquery
# 認証情報はcredentials.jsonから取得。
# グーグルクラウドプラットフォームでサービスアカウントを作成して、「...
1
票
1
回答
7,972
閲覧数
グループ別の合計に対する比率を出したい
google big queryでのSQLで、
グループ別の合計に対する比率を出す方法に悩んでおります。
(通常のsqlの回答でもうれしいです)
用意しているテーブルは以下です。
score_data
+--------+-------+------+
| userID | score | age |
+--------+-------+------+
| 1 | 100 | ...
0
票
1
回答
6,627
閲覧数
big queryで日付を指定して取り出す方法
googleのbig queryを使ってある日付から日付までの行を取り出したいのですが、以下のコードを実行すると1件も対象コードになりません。どこを改善すればよいのでしょうか。
対象テーブルはデフォルトで存在するものです。対象テーブルの画像を添付しました。
SELECT
*
FROM `nyc-tlc.green.trips_201*`
WHERE
_TABLE_SUFFIX ...
0
票
0
回答
239
閲覧数
bigquery api の run_sync_query() メソッドのパラメータ "query_parameter" が機能しない?
--
python/google-cloud-bigquery==0.27.0 利用し client.run_sync_query() APIのquery_parameters を利用してみたのだが、バインド変数(@table_prefix)が置換されない。スタックトレースを見る限り機能していないように見えるが、コードとして何か不備があるのか?
--
i tried to call ...
0
票
1
回答
504
閲覧数
Adwords Editorでのインポートエラー
他社が管理していたadwordsの情報をadwords editorでエクスポートしたCSVデータをもらったので、新しく作ったアカウントにインポートしようとすると、「必須のアカウント列がありません」というエラーが出てインポートすることができません。
どなたか解決方法が分かる方はいませんでしょうか。
1
票
1
回答
545
閲覧数
BigqueryでGoogle Drive(スプレッドシート)とCSVデータを統合したテーブルを用意する方法
BigqueryでGoogle Driveなどの日々更新される外部ソースのデータと、CSVアップロードなどの通常のデータを統合させた1つのテーブルを作る方法はございますでしょうか?
詳細としては、
数年分の顧客データの蓄積と解析をBigqueryで実施しようとしています。BigqueryデータのビジュアライズツールとしてGoogle Datastudioを利用予定です。
...
0
票
1
回答
1,044
閲覧数
Big queryにてスプレッドシートのデータをインポートしたい
bigqueryにおいてスプレッドシートのデータをインポートしたのですが、以下の文章がでます。
なぜでしょうか。
Failed to create table: Invalid field name "". Fields must contain only letters, numbers, and underscores, start with a letter or underscore, ...
0
票
0
回答
84
閲覧数
Adwords/GoogleAnalytics/BigqueryのLINK設定をしたのですが、Bigqueryにデータが連携されません
とあるスマホアプリを開発しているものです。
Analytics360を利用して、以前からBigQueryExportでGA-BQ連携を利用しています。
一週間ほど前に、広告データ(trafficSourceデータ)をBigQueryで扱いたいのでGAにて「AdWordsLINK設定・AdWords Linking」を行いましたが、BigQuery側に変化がありません。
あまり情報もなく、...
0
票
1
回答
251
閲覧数
GROUP BYした結果をRepeated Fieldにする
Input Dataを、col1でGROUP BYした結果を元に、col2をRepeated FieldにしてExport Dataとして出力する方法が知りたい
Input Data
col1,col2
"a",1
"a",2
"b",1
Export Data
col1,col2_array
"a",1,2
"b",1
0
票
1
回答
1,302
閲覧数
スプレッドシートからBigQueryに接続してデータを取得する時にトリガーだと失敗する
BigQueryで集計したデータをGASで取得してスプレッドシートに出力する処理を書きました。
取得するためのクエリは以下です。
select * from
(SELECT appid, count(userno) as cnt FROM [hogehoge.dau_20151201]
group by appid having count(userno) > 1000)
order ...
0
票
1
回答
208
閲覧数
bigqueryの性能についてまとめたページを探しています
※プログラミングに関する質問と少し異なります。
google-bigqueryの導入を社内で検討しているのですが、導入にあたって、ディザスタリカバリや、平均復旧時間(MTTR)、障害発生件数等、性能の詳細情報を必要としています。(社内でのシステム導入申請書を出す際に必要です)
google公式ホームページは確認しましたが、上記に挙げたような詳細の情報を見つけることができません。。
...
1
票
3
回答
6,899
閲覧数
BigQueryでJSON文字列を保存して配列になっている値を集計したい場合のやり方
Qiitaの以下のエントリをみて、これができるとログの解析が捗りそうと思い色々試してみています。
http://qiita.com/hakobera/items/5e280ad33d72f82de39c
JSON_EXTRACT, JSON_EXTRACT_SCALARを使えば値を取り出せるのでこれで集計用のテーブルを作れば要件満たせそうと思っていたのですが、...
1
票
1
回答
388
閲覧数
App Engine Log TableからViewを生成したい
App Engineアプリからjson形式でログを出力し、Cloud LoggingのBQへのExport機能を使って、BQに入れ、そこからjsonをjson functionを使って、中身を抽出して、Viewを生成しようと思ったのですが、以下のQueryだと、Queryとしては実行できるけど、Viewを生成しようとするErrorが出ます。
SELECT
JSON_EXTRACT(...
1
票
2
回答
276
閲覧数
Repeated Fieldの内容を順番通りに表示したい
App EngineのLogをStreaming InsertでBigQueryにExportしています。
Application LogはprotoPayload.line.logMessageにRepeatedFieldとして格納されているのですが、以下のクエリではRepeatedFieldの順番が失われてしまいます。
Application Logの順番が狂うと、中身が追いにくいので、...