[google-bigquery] タグが付いた質問
google-bigquery タグの使い方はまだ書かれていません。
29
質問
0
票
0回答
26 件の閲覧数
データポータルのレポートを開いた時に、たまに「データセットの設定エラー」が表示される
データポータルのレポートで、BigQueryのテーブルを参照するデータセットを使用しています。
今まではBigQueryのビューを参照するようにデータセットを設定していて、レポートは問題なく表示されていたのですが、
データセットの参照をカスタムクエリに変更したところ、レポートを開いたときに稀にグラフの一部が「データセットの設定エラー」になるようになってしまいました。
...
0
票
0回答
33 件の閲覧数
GASの処理途中で再起動した(突然処理の先頭から起動しなおす)ような動作を行うことがある
質問事項
GASの実行ログを見ていると、通常ならありえないはずの状態になっていました。
まるでGASが再起動したかのように、処理途中で起動時にしか出力していない実行ログが出力されていました。
GASのプログラムが再起動するようなことは発生しうるのでしょうか?
また、発生するとすればどのようなケースが考えられるのでしょうか?
内容
...
0
票
0回答
28 件の閲覧数
GASでBigQueryへinsertした際に、数件ごとにquotaExceededが発生する
GASでBigQueryのテーブルに対してinsertを行った際にquotaExceededエラーが発生するのですが、原因が分かりません。
ファイルから読み込んだデータをBigQuery.Jobs.insertを使用してBigQueryのテーブルにinsertする、という処理を30分間隔でトリガー起動しています。
処理は、全対象ファイル処理完了 or 25分経過 or エラー発生で終了します。
...
0
票
1回答
36 件の閲覧数
指定した期間内のデータ抽出方法について: No matching signature for operator BETWEEN for argument types: TIMESTAMP, DATE, DATE
やりたいこと
ビッグクエリのデータテーブルに対し、特定のカラム(タイムスタンプ型)を指定して任意の期間内のデータのみ抽出したい。
抽出条件
・satei_date が 2か月以内
現状のエラー
以下の通りクエリを記載しておりますが、エラーが出る状況です。
原因と修正方法についてご教示いただけますと幸いです。
クエリ
WHERE satei_date BETWEEN CURRENT_DATE() ...
0
票
0回答
34 件の閲覧数
Firebase Analyticsの自動的に収集されるイベントについて
現在、WebのFirebase SDKからイベントを投げて、Firebase Analyticsでログを受け取りBigQuery Export機能を使いBigQueryでログを収集しようとしています。
以下の「自動的に収集されるイベント」ドキュメントに「language」、「page_location」、「page_referrer」、「page_title」、「screen_resolution」...
0
票
1回答
54 件の閲覧数
Google BigQueryの結果をPythonで複数Json形式で返す方法
以下のことを実行できるAPIをPythonのフレームワークのFlaskで作成しております。
SQLを実行する先のDBはGoogle BigQueryを使用しております。
①複数のレクエストパラメーター(luid)をリストで取得し、ループ処理でそれぞれを変数に格納
②①の変数をWhere区の条件に使用しSQLを実行する
*...
0
票
0回答
33 件の閲覧数
BigqueryでGoogle Analyticsデータを扱いたい
こんにちは。現在以下のクエリで結果がありませんと表示され、大変困っております。
PAGEはデータセットにたくさん入っていることは確認済みです。
どなたか解決策をご存知の方はいらっしゃいませんか。
SELECT
product.productSKU,
COUNT(DISTINCT fullVisitorId) AS unique_user,
COUNT(fullVisitorId) ...
0
票
0回答
37 件の閲覧数
グーグルアナリティクス(GA)のデータをビッグクエリ(BQ)で利用する際にGAにあるデータとBQにあるデータに差異がある
GAから取り組んだデータで例えばPageviewをBQで見た際に、データに差異があるのですが、これってなんででしょうか。
BQからはTotal.pageviewをページ毎にSUMしたものをPageview数としていて、GAと比較すると圧倒的にGAの方が低い結果になります。どなたか教えてください。
0
票
1回答
312 件の閲覧数
BigQueryで取り込んだGAデータのdateを日付型に変えたい
以下のような簡単なコードなのですが、dataをcast(data as date) as dateとしてデータ型をStringからDateに変えたいのですが、エラーがでます。解決策をどなたかお教え願えませんか。
SELECT
date,
product.productSKU,
SUM(totals.pageviews) AS pageview,
SUM(totals.visits)...
1
票
0回答
25 件の閲覧数
sum(if(…))の数が多いとWebUIからのクエリ実行ができない
あるテーブルを縦持ちから横持ちに変換(pivot)しようとしたところ、
カラム数が一定数を超えるとクエリが実行できなくなってしまいました。
構文エラーやエラーチェックなどはでず、単に「クエリが実行できません」というトーストがでます。
具体的には以下のようなクエリになります。
with sub as (
select
prime
,number
,sum(prime * ...
0
票
1回答
56 件の閲覧数
BQ→データポータルの更新について
データポータルなのでここでの質問が適切かわかりませんが、、。
BQに入ってきたデータを、リアルタイムにデータポータルに表示させる
やり方がわかりません。知っている方がおられましたら、教えてください!
0
票
1回答
43 件の閲覧数
bigqueryで2つのマスタからユニークkeyを作りたい
bigqueryというよりも、sqlの初歩的な質問になると思うのですが、
下記について困っています。
以下のような2種類のテーブルがあります。
①T_DATE
DATE,
2019-01-01
2019-01-02
2019-01-03
・・・
②T_PRODUCT
PRODUCT,
A
B
C
・・・
この種類のマスタテーブルから、
以下のようなテーブルを新規で作りたいです。
③...
2
票
1回答
229 件の閲覧数
配列の中に複数の条件全てみたすレコードを抽出する
対象はGooleCloudBigqueryですが、Postgres等Arrayを持っているDBも同様と思います
id:1, arr_val: [{"a":"111"},{"a":"222"},{"a":"333"}]
id:2, arr_val: [{"a":"222"},{"a":"444"},{"a":"666"}]
・・・
といったデータ構造の時に
"a"...
1
票
0回答
49 件の閲覧数
(Google Cloud PlatformのCompute Engineでシェルスクリプトを使い)SQL(BigQuery)を操作する際、日別でテーブルを作成する方法について
シェルスクリプトについての質問です。
最下部にサンプルコードの掲載しました。
シェルでループを回し、”一日毎に”(BigQueryを操作して)日別のテーブルを作成したいと考えております。
*(BigQueryの)記述内容に関して、日付指定の箇所以外は同様のもの
上記、日付部分を操作する為、以下のイメージを考えてます。
1.テーブル作成する為のクエリーをシェルでループ処理
2.ただし、上記の「...
1
票
1回答
66 件の閲覧数
firebase authentication の情報をBigqueryに流し込めず困っています。
解析のために認証情報を取り扱うために使っているfirebaseのauthenticationの認証情報をBigQueryに流し込みたいと考えているのですが、うまくいっておりません。
https://support.google.com/firebase/answer/6318765?authuser=0
に書かれているようにBigQueryとfirebaseをリンクしてみたのですが、...
0
票
1回答
587 件の閲覧数
bigquery-pythonでcreate_dataset, create_tableが動かない
bigquery-pythonを使って、ツイッターのデータをビッグクエリにインポートしようとしているのですができません。
どうやら、create_tableができていないみたいです。問題の部分だけ抽出すると以下のコードです。
import bigquery
# 認証情報はcredentials.jsonから取得。
# グーグルクラウドプラットフォームでサービスアカウントを作成して、「...
1
票
1回答
4,027 件の閲覧数
グループ別の合計に対する比率を出したい
google big queryでのSQLで、
グループ別の合計に対する比率を出す方法に悩んでおります。
(通常のsqlの回答でもうれしいです)
用意しているテーブルは以下です。
score_data
+--------+-------+------+
| userID | score | age |
+--------+-------+------+
| 1 | 100 | ...
0
票
1回答
2,159 件の閲覧数
big queryで日付を指定して取り出す方法
googleのbig queryを使ってある日付から日付までの行を取り出したいのですが、以下のコードを実行すると1件も対象コードになりません。どこを改善すればよいのでしょうか。
対象テーブルはデフォルトで存在するものです。対象テーブルの画像を添付しました。
SELECT
*
FROM `nyc-tlc.green.trips_201*`
WHERE
_TABLE_SUFFIX ...
0
票
0回答
204 件の閲覧数
bigquery api の run_sync_query() メソッドのパラメータ “query_parameter” が機能しない?
--
python/google-cloud-bigquery==0.27.0 利用し client.run_sync_query() APIのquery_parameters を利用してみたのだが、バインド変数(@table_prefix)が置換されない。スタックトレースを見る限り機能していないように見えるが、コードとして何か不備があるのか?
--
i tried to call ...
1
票
1回答
321 件の閲覧数
Adwords Editorでのインポートエラー
他社が管理していたadwordsの情報をadwords editorでエクスポートしたCSVデータをもらったので、新しく作ったアカウントにインポートしようとすると、「必須のアカウント列がありません」というエラーが出てインポートすることができません。
どなたか解決方法が分かる方はいませんでしょうか。
0
票
1回答
319 件の閲覧数
BigqueryでGoogle Drive(スプレッドシート)とCSVデータを統合したテーブルを用意する方法
BigqueryでGoogle Driveなどの日々更新される外部ソースのデータと、CSVアップロードなどの通常のデータを統合させた1つのテーブルを作る方法はございますでしょうか?
詳細としては、
数年分の顧客データの蓄積と解析をBigqueryで実施しようとしています。BigqueryデータのビジュアライズツールとしてGoogle Datastudioを利用予定です。
...
1
票
1回答
432 件の閲覧数
Big queryにてスプレッドシートのデータをインポートしたい
bigqueryにおいてスプレッドシートのデータをインポートしたのですが、以下の文章がでます。
なぜでしょうか。
Failed to create table: Invalid field name "". Fields must contain only letters, numbers, and underscores, start with a letter or underscore, ...
0
票
0回答
77 件の閲覧数
Adwords/GoogleAnalytics/BigqueryのLINK設定をしたのですが、Bigqueryにデータが連携されません
とあるスマホアプリを開発しているものです。
Analytics360を利用して、以前からBigQueryExportでGA-BQ連携を利用しています。
一週間ほど前に、広告データ(trafficSourceデータ)をBigQueryで扱いたいのでGAにて「AdWordsLINK設定・AdWords Linking」を行いましたが、BigQuery側に変化がありません。
あまり情報もなく、...
0
票
1回答
196 件の閲覧数
GROUP BYした結果をRepeated Fieldにする
Input Dataを、col1でGROUP BYした結果を元に、col2をRepeated FieldにしてExport Dataとして出力する方法が知りたい
Input Data
col1,col2
"a",1
"a",2
"b",1
Export Data
col1,col2_array
"a",1,2
"b",1
0
票
1回答
1,176 件の閲覧数
スプレッドシートからBigQueryに接続してデータを取得する時にトリガーだと失敗する
BigQueryで集計したデータをGASで取得してスプレッドシートに出力する処理を書きました。
取得するためのクエリは以下です。
select * from
(SELECT appid, count(userno) as cnt FROM [hogehoge.dau_20151201]
group by appid having count(userno) > 1000)
order ...
0
票
1回答
195 件の閲覧数
bigqueryの性能についてまとめたページを探しています
※プログラミングに関する質問と少し異なります。
google-bigqueryの導入を社内で検討しているのですが、導入にあたって、ディザスタリカバリや、平均復旧時間(MTTR)、障害発生件数等、性能の詳細情報を必要としています。(社内でのシステム導入申請書を出す際に必要です)
google公式ホームページは確認しましたが、上記に挙げたような詳細の情報を見つけることができません。。
...
1
票
3回答
5,405 件の閲覧数
BigQueryでJSON文字列を保存して配列になっている値を集計したい場合のやり方
Qiitaの以下のエントリをみて、これができるとログの解析が捗りそうと思い色々試してみています。
http://qiita.com/hakobera/items/5e280ad33d72f82de39c
JSON_EXTRACT, JSON_EXTRACT_SCALARを使えば値を取り出せるのでこれで集計用のテーブルを作れば要件満たせそうと思っていたのですが、...
1
票
1回答
345 件の閲覧数
App Engine Log TableからViewを生成したい
App Engineアプリからjson形式でログを出力し、Cloud LoggingのBQへのExport機能を使って、BQに入れ、そこからjsonをjson functionを使って、中身を抽出して、Viewを生成しようと思ったのですが、以下のQueryだと、Queryとしては実行できるけど、Viewを生成しようとするErrorが出ます。
SELECT
JSON_EXTRACT(...
1
票
2回答
238 件の閲覧数
Repeated Fieldの内容を順番通りに表示したい
App EngineのLogをStreaming InsertでBigQueryにExportしています。
Application LogはprotoPayload.line.logMessageにRepeatedFieldとして格納されているのですが、以下のクエリではRepeatedFieldの順番が失われてしまいます。
Application Logの順番が狂うと、中身が追いにくいので、...