[google-bigquery] タグが付いた質問
google-bigquery タグの使い方はまだ書かれていません。
34 件の質問
2
票
0
回答
204
閲覧数
BigQueryでカラム内のカンマで分割してフラグ作成する方法
【BigQuery】でのデータ加工についてご質問させてください。
カラム内にカンマ区切りで入っている、下記のようなデータがあります。
SELECT
"A" AS year , "1,2,5" AS product
UNION ALL SELECT "A" AS year , "1,2,5" AS product
...
2
票
0
回答
76
閲覧数
(Google Cloud PlatformのCompute Engineでシェルスクリプトを使い)SQL(BigQuery)を操作する際、日別でテーブルを作成する方法について
シェルスクリプトについての質問です。
最下部にサンプルコードの掲載しました。
シェルでループを回し、”一日毎に”(BigQueryを操作して)日別のテーブルを作成したいと考えております。
*(BigQueryの)記述内容に関して、日付指定の箇所以外は同様のもの
上記、日付部分を操作する為、以下のイメージを考えてます。
1.テーブル作成する為のクエリーをシェルでループ処理
2.ただし、上記の「...
1
票
1
回答
9,868
閲覧数
グループ別の合計に対する比率を出したい
google big queryでのSQLで、
グループ別の合計に対する比率を出す方法に悩んでおります。
(通常のsqlの回答でもうれしいです)
用意しているテーブルは以下です。
score_data
+--------+-------+------+
| userID | score | age |
+--------+-------+------+
| 1 | 100 | ...
1
票
3
回答
7,103
閲覧数
BigQueryでJSON文字列を保存して配列になっている値を集計したい場合のやり方
Qiitaの以下のエントリをみて、これができるとログの解析が捗りそうと思い色々試してみています。
http://qiita.com/hakobera/items/5e280ad33d72f82de39c
JSON_EXTRACT, JSON_EXTRACT_SCALARを使えば値を取り出せるのでこれで集計用のテーブルを作れば要件満たせそうと思っていたのですが、...
1
票
1
回答
438
閲覧数
SQLを用いて、複数システム同一ユーザーのIDを紐付けしてIDを振るロジック
複数システムのそれぞれ独自のユーザーIDに対して、同一ユーザーのIDを紐付けるためのユニークIDを振りたいと考えています。
SQLでどのようなロジックにすれば良いか、頭を悩ませておりまして、助言いただけませんでしょうか。
同一ユーザーを紐付けたテーブルはあります。これを元に「同一ユーザーを区別するための」ユニークIDを振りたいです。
複数システムの同一ユーザーを紐付けるため、...
1
票
1
回答
892
閲覧数
BigQueryで取り込んだGAデータのdateを日付型に変えたい
以下のような簡単なコードなのですが、dataをcast(data as date) as dateとしてデータ型をStringからDateに変えたいのですが、エラーがでます。解決策をどなたかお教え願えませんか。
SELECT
date,
product.productSKU,
SUM(totals.pageviews) AS pageview,
SUM(totals.visits)...
1
票
1
回答
1,360
閲覧数
配列の中に複数の条件全てみたすレコードを抽出する
対象はGooleCloudBigqueryですが、Postgres等Arrayを持っているDBも同様と思います
id:1, arr_val: [{"a":"111"},{"a":"222"},{"a":"333"}]
id:2, arr_val: [{"a":"222"},{"a":"444"},{"a":"666"}]
・・・
といったデータ構造の時に
"a"...
1
票
1
回答
677
閲覧数
BigqueryでGoogle Drive(スプレッドシート)とCSVデータを統合したテーブルを用意する方法
BigqueryでGoogle Driveなどの日々更新される外部ソースのデータと、CSVアップロードなどの通常のデータを統合させた1つのテーブルを作る方法はございますでしょうか?
詳細としては、
数年分の顧客データの蓄積と解析をBigqueryで実施しようとしています。BigqueryデータのビジュアライズツールとしてGoogle Datastudioを利用予定です。
...
1
票
1
回答
403
閲覧数
App Engine Log TableからViewを生成したい
App Engineアプリからjson形式でログを出力し、Cloud LoggingのBQへのExport機能を使って、BQに入れ、そこからjsonをjson functionを使って、中身を抽出して、Viewを生成しようと思ったのですが、以下のQueryだと、Queryとしては実行できるけど、Viewを生成しようとするErrorが出ます。
SELECT
JSON_EXTRACT(...
1
票
0
回答
35
閲覧数
sum(if(...))の数が多いとWebUIからのクエリ実行ができない
あるテーブルを縦持ちから横持ちに変換(pivot)しようとしたところ、
カラム数が一定数を超えるとクエリが実行できなくなってしまいました。
構文エラーやエラーチェックなどはでず、単に「クエリが実行できません」というトーストがでます。
具体的には以下のようなクエリになります。
with sub as (
select
prime
,number
,sum(prime * ...
1
票
1
回答
320
閲覧数
firebase authentication の情報をBigqueryに流し込めず困っています。
解析のために認証情報を取り扱うために使っているfirebaseのauthenticationの認証情報をBigQueryに流し込みたいと考えているのですが、うまくいっておりません。
https://support.google.com/firebase/answer/6318765?authuser=0
に書かれているようにBigQueryとfirebaseをリンクしてみたのですが、...
1
票
2
回答
304
閲覧数
Repeated Fieldの内容を順番通りに表示したい
App EngineのLogをStreaming InsertでBigQueryにExportしています。
Application LogはprotoPayload.line.logMessageにRepeatedFieldとして格納されているのですが、以下のクエリではRepeatedFieldの順番が失われてしまいます。
Application Logの順番が狂うと、中身が追いにくいので、...
0
票
1
回答
128
閲覧数
bigqueryで特定の構造体をもつレコードのみ出力する方法
サンプルとして以下のjsonデータを登録します。
例えば一行目のHistory構造体を持つレコードのみ出力するsql文を書くために
Books.Historyのサイズを取得して比較したいのですが、やり方はないでしょうか?
◆JSONファイル:
{"User":{"Name":"aaaaa","age":"20&...
0
票
1
回答
9,783
閲覧数
指定した期間内のデータ抽出方法について: No matching signature for operator BETWEEN for argument types: TIMESTAMP, DATE, DATE
やりたいこと
ビッグクエリのデータテーブルに対し、特定のカラム(タイムスタンプ型)を指定して任意の期間内のデータのみ抽出したい。
抽出条件
・satei_date が 2か月以内
現状のエラー
以下の通りクエリを記載しておりますが、エラーが出る状況です。
原因と修正方法についてご教示いただけますと幸いです。
クエリ
WHERE satei_date BETWEEN CURRENT_DATE() ...
0
票
1
回答
125
閲覧数
bigqueryで2つのマスタからユニークkeyを作りたい
bigqueryというよりも、sqlの初歩的な質問になると思うのですが、
下記について困っています。
以下のような2種類のテーブルがあります。
①T_DATE
DATE,
2019-01-01
2019-01-02
2019-01-03
・・・
②T_PRODUCT
PRODUCT,
A
B
C
・・・
この種類のマスタテーブルから、
以下のようなテーブルを新規で作りたいです。
③...
0
票
1
回答
9,668
閲覧数
big queryで日付を指定して取り出す方法
googleのbig queryを使ってある日付から日付までの行を取り出したいのですが、以下のコードを実行すると1件も対象コードになりません。どこを改善すればよいのでしょうか。
対象テーブルはデフォルトで存在するものです。対象テーブルの画像を添付しました。
SELECT
*
FROM `nyc-tlc.green.trips_201*`
WHERE
_TABLE_SUFFIX ...
0
票
1
回答
582
閲覧数
Adwords Editorでのインポートエラー
他社が管理していたadwordsの情報をadwords editorでエクスポートしたCSVデータをもらったので、新しく作ったアカウントにインポートしようとすると、「必須のアカウント列がありません」というエラーが出てインポートすることができません。
どなたか解決方法が分かる方はいませんでしょうか。
0
票
1
回答
1,326
閲覧数
Big queryにてスプレッドシートのデータをインポートしたい
bigqueryにおいてスプレッドシートのデータをインポートしたのですが、以下の文章がでます。
なぜでしょうか。
Failed to create table: Invalid field name "". Fields must contain only letters, numbers, and underscores, start with a letter or underscore, ...
0
票
1
回答
1,419
閲覧数
スプレッドシートからBigQueryに接続してデータを取得する時にトリガーだと失敗する
BigQueryで集計したデータをGASで取得してスプレッドシートに出力する処理を書きました。
取得するためのクエリは以下です。
select * from
(SELECT appid, count(userno) as cnt FROM [hogehoge.dau_20151201]
group by appid having count(userno) > 1000)
order ...
0
票
1
回答
212
閲覧数
bigqueryの性能についてまとめたページを探しています
※プログラミングに関する質問と少し異なります。
google-bigqueryの導入を社内で検討しているのですが、導入にあたって、ディザスタリカバリや、平均復旧時間(MTTR)、障害発生件数等、性能の詳細情報を必要としています。(社内でのシステム導入申請書を出す際に必要です)
google公式ホームページは確認しましたが、上記に挙げたような詳細の情報を見つけることができません。。
...
0
票
0
回答
16
閲覧数
GA4のデータをURLのパスごとにbigqueryのテーブルへ分割したい
GA4のデータを使い、google bigqueryでデータ分析をしようとしています。
GA4のデータ収集ではサイト丸ごととなっていて、bigqueryのスキャン量の兼ね合いもあるので、URLのパスごと (~~.jp/pathA/***, ~~.jp/pathB/***, ..)にデータセットを分けて格納し、それぞれの分析を考えています。
bigqueryでクエリを組んでみたのですが、...
0
票
1
回答
53
閲覧数
bigquery-public-dataのnewyork.citibikedataを使用したサブクエリを作成する課題で出る、BigqueryのSQLエラーの解決法が分からない。
Bigqueryで下記SQLを記述時に以下のエラーになります
No matching signature for operator = for argument types: STRING, INT64. Supported signature: ANY = ANY at [16:56]
どこを直せばいいのかが分からない状態です。
原因と対策をお教えいただけますでしょうか。
記述は以下の通りです。...
0
票
1
回答
137
閲覧数
UNNESTして取得したJSONをgroup byしたい。
BigQueryでJSONでキー指定されて保存されたカラムをUNNESTして、["11","24"]の状態で取得できたのですが、
これを更にUNNESTしてc(11や24など)でgroup by したいのですが、下記SQLだとエラーになってしまいます。
どのように記載すれば、下記のような表になるでしょうか?
test|11
test|24
WITH
data ...
0
票
0
回答
181
閲覧数
queryメソッドを使用すると”TypeError: string indices must be integers”とエラーが発生してしまう
■やりたいこと
big queryのテーブルをqueryメソッドを使い操作したい
■やったこと
こちらのURLのスクリプトをそのまま実行
https://googleapis.dev/python/bigquery/latest/usage/queries.html
■起きたこと
最初は問題なく動いたが、何故か途中でエラーがでてしまうようになった
エラー内容:TypeError: string ...
0
票
0
回答
164
閲覧数
Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい
Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて
CSVで出力したいと考えています。
Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら
教えていただけますと幸いです。以下が試したことになります。
1.Big queryにテーブルstringsA, strinsBを2つ作成
stringsA
id
name
...
0
票
0
回答
122
閲覧数
Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい
やりたい・やりたかったこと
スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?)
BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい
その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい
今回は技術的詳細に関する質問というよりは、上記のような、...
0
票
1
回答
120
閲覧数
SQL テーブル上の2つのそれぞれの値を、1つのテーブルから参照する効率的な方法
SQLのJOINの方法で、効率的な方法を探しています。
言葉で説明するのが難しく・・・テーブルで説明します
(環境はBigQuery standardSQLです)
table_A
ID
name
departure
arrival
1
sato
100
200
2
suzuki
200
300
3
tanaka
300
200
table_B
ID
spot
100
tokyo
...
0
票
0
回答
92
閲覧数
AWSからGCPへSTSを利用したアクセス時にNode.jsでは正常だが、PHPではエラーになる
AWS の IAM ロールと GCP のサービスアカウントを紐付けて鍵なしでアクセスする方法
上記サイトを参考に構築し、Node.jsでは正常に動作します。
PHPで実装をしていると、「Google\Cloud\Core\Exception\ServiceException」が発生します。
場所は、「vendor/google/cloud/Core/src/RequestWrapper.php」...
0
票
1
回答
593
閲覧数
Google BigQueryの結果をPythonで複数Json形式で返す方法
以下のことを実行できるAPIをPythonのフレームワークのFlaskで作成しております。
SQLを実行する先のDBはGoogle BigQueryを使用しております。
①複数のレクエストパラメーター(luid)をリストで取得し、ループ処理でそれぞれを変数に格納
②①の変数をWhere区の条件に使用しSQLを実行する
*...
0
票
1
回答
164
閲覧数
BQ→データポータルの更新について
データポータルなのでここでの質問が適切かわかりませんが、、。
BQに入ってきたデータを、リアルタイムにデータポータルに表示させる
やり方がわかりません。知っている方がおられましたら、教えてください!
0
票
1
回答
683
閲覧数
bigquery-pythonでcreate_dataset, create_tableが動かない
bigquery-pythonを使って、ツイッターのデータをビッグクエリにインポートしようとしているのですができません。
どうやら、create_tableができていないみたいです。問題の部分だけ抽出すると以下のコードです。
import bigquery
# 認証情報はcredentials.jsonから取得。
# グーグルクラウドプラットフォームでサービスアカウントを作成して、「...
0
票
0
回答
261
閲覧数
bigquery api の run_sync_query() メソッドのパラメータ "query_parameter" が機能しない?
--
python/google-cloud-bigquery==0.27.0 利用し client.run_sync_query() APIのquery_parameters を利用してみたのだが、バインド変数(@table_prefix)が置換されない。スタックトレースを見る限り機能していないように見えるが、コードとして何か不備があるのか?
--
i tried to call ...
0
票
0
回答
87
閲覧数
Adwords/GoogleAnalytics/BigqueryのLINK設定をしたのですが、Bigqueryにデータが連携されません
とあるスマホアプリを開発しているものです。
Analytics360を利用して、以前からBigQueryExportでGA-BQ連携を利用しています。
一週間ほど前に、広告データ(trafficSourceデータ)をBigQueryで扱いたいのでGAにて「AdWordsLINK設定・AdWords Linking」を行いましたが、BigQuery側に変化がありません。
あまり情報もなく、...
0
票
1
回答
260
閲覧数
GROUP BYした結果をRepeated Fieldにする
Input Dataを、col1でGROUP BYした結果を元に、col2をRepeated FieldにしてExport Dataとして出力する方法が知りたい
Input Data
col1,col2
"a",1
"a",2
"b",1
Export Data
col1,col2_array
"a",1,2
"b",1