[google-bigquery] タグが付いた質問
google-bigquery タグの使い方はまだ書かれていません。
15 未回答やベストアンサーなし質問
2
票
0
回答
204
閲覧数
BigQueryでカラム内のカンマで分割してフラグ作成する方法
【BigQuery】でのデータ加工についてご質問させてください。
カラム内にカンマ区切りで入っている、下記のようなデータがあります。
SELECT
"A" AS year , "1,2,5" AS product
UNION ALL SELECT "A" AS year , "1,2,5" AS product
...
2
票
0
回答
76
閲覧数
(Google Cloud PlatformのCompute Engineでシェルスクリプトを使い)SQL(BigQuery)を操作する際、日別でテーブルを作成する方法について
シェルスクリプトについての質問です。
最下部にサンプルコードの掲載しました。
シェルでループを回し、”一日毎に”(BigQueryを操作して)日別のテーブルを作成したいと考えております。
*(BigQueryの)記述内容に関して、日付指定の箇所以外は同様のもの
上記、日付部分を操作する為、以下のイメージを考えてます。
1.テーブル作成する為のクエリーをシェルでループ処理
2.ただし、上記の「...
1
票
0
回答
35
閲覧数
sum(if(...))の数が多いとWebUIからのクエリ実行ができない
あるテーブルを縦持ちから横持ちに変換(pivot)しようとしたところ、
カラム数が一定数を超えるとクエリが実行できなくなってしまいました。
構文エラーやエラーチェックなどはでず、単に「クエリが実行できません」というトーストがでます。
具体的には以下のようなクエリになります。
with sub as (
select
prime
,number
,sum(prime * ...
1
票
1
回答
320
閲覧数
firebase authentication の情報をBigqueryに流し込めず困っています。
解析のために認証情報を取り扱うために使っているfirebaseのauthenticationの認証情報をBigQueryに流し込みたいと考えているのですが、うまくいっておりません。
https://support.google.com/firebase/answer/6318765?authuser=0
に書かれているようにBigQueryとfirebaseをリンクしてみたのですが、...
0
票
0
回答
16
閲覧数
GA4のデータをURLのパスごとにbigqueryのテーブルへ分割したい
GA4のデータを使い、google bigqueryでデータ分析をしようとしています。
GA4のデータ収集ではサイト丸ごととなっていて、bigqueryのスキャン量の兼ね合いもあるので、URLのパスごと (~~.jp/pathA/***, ~~.jp/pathB/***, ..)にデータセットを分けて格納し、それぞれの分析を考えています。
bigqueryでクエリを組んでみたのですが、...
0
票
1
回答
53
閲覧数
bigquery-public-dataのnewyork.citibikedataを使用したサブクエリを作成する課題で出る、BigqueryのSQLエラーの解決法が分からない。
Bigqueryで下記SQLを記述時に以下のエラーになります
No matching signature for operator = for argument types: STRING, INT64. Supported signature: ANY = ANY at [16:56]
どこを直せばいいのかが分からない状態です。
原因と対策をお教えいただけますでしょうか。
記述は以下の通りです。...
0
票
1
回答
137
閲覧数
UNNESTして取得したJSONをgroup byしたい。
BigQueryでJSONでキー指定されて保存されたカラムをUNNESTして、["11","24"]の状態で取得できたのですが、
これを更にUNNESTしてc(11や24など)でgroup by したいのですが、下記SQLだとエラーになってしまいます。
どのように記載すれば、下記のような表になるでしょうか?
test|11
test|24
WITH
data ...
0
票
0
回答
181
閲覧数
queryメソッドを使用すると”TypeError: string indices must be integers”とエラーが発生してしまう
■やりたいこと
big queryのテーブルをqueryメソッドを使い操作したい
■やったこと
こちらのURLのスクリプトをそのまま実行
https://googleapis.dev/python/bigquery/latest/usage/queries.html
■起きたこと
最初は問題なく動いたが、何故か途中でエラーがでてしまうようになった
エラー内容:TypeError: string ...
0
票
0
回答
164
閲覧数
Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい
Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて
CSVで出力したいと考えています。
Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら
教えていただけますと幸いです。以下が試したことになります。
1.Big queryにテーブルstringsA, strinsBを2つ作成
stringsA
id
name
...
0
票
0
回答
122
閲覧数
Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい
やりたい・やりたかったこと
スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?)
BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい
その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい
今回は技術的詳細に関する質問というよりは、上記のような、...
0
票
0
回答
92
閲覧数
AWSからGCPへSTSを利用したアクセス時にNode.jsでは正常だが、PHPではエラーになる
AWS の IAM ロールと GCP のサービスアカウントを紐付けて鍵なしでアクセスする方法
上記サイトを参考に構築し、Node.jsでは正常に動作します。
PHPで実装をしていると、「Google\Cloud\Core\Exception\ServiceException」が発生します。
場所は、「vendor/google/cloud/Core/src/RequestWrapper.php」...
0
票
1
回答
593
閲覧数
Google BigQueryの結果をPythonで複数Json形式で返す方法
以下のことを実行できるAPIをPythonのフレームワークのFlaskで作成しております。
SQLを実行する先のDBはGoogle BigQueryを使用しております。
①複数のレクエストパラメーター(luid)をリストで取得し、ループ処理でそれぞれを変数に格納
②①の変数をWhere区の条件に使用しSQLを実行する
*...
0
票
1
回答
164
閲覧数
BQ→データポータルの更新について
データポータルなのでここでの質問が適切かわかりませんが、、。
BQに入ってきたデータを、リアルタイムにデータポータルに表示させる
やり方がわかりません。知っている方がおられましたら、教えてください!
0
票
0
回答
261
閲覧数
bigquery api の run_sync_query() メソッドのパラメータ "query_parameter" が機能しない?
--
python/google-cloud-bigquery==0.27.0 利用し client.run_sync_query() APIのquery_parameters を利用してみたのだが、バインド変数(@table_prefix)が置換されない。スタックトレースを見る限り機能していないように見えるが、コードとして何か不備があるのか?
--
i tried to call ...
0
票
0
回答
87
閲覧数
Adwords/GoogleAnalytics/BigqueryのLINK設定をしたのですが、Bigqueryにデータが連携されません
とあるスマホアプリを開発しているものです。
Analytics360を利用して、以前からBigQueryExportでGA-BQ連携を利用しています。
一週間ほど前に、広告データ(trafficSourceデータ)をBigQueryで扱いたいのでGAにて「AdWordsLINK設定・AdWords Linking」を行いましたが、BigQuery側に変化がありません。
あまり情報もなく、...