[google-bigquery] タグが付いた質問
google-bigquery タグの使い方はまだ書かれていません。
37
質問
0
票
0
回答
31
閲覧数
BigQueryで単語検索を行いたい
BigQueryで開発を行っているのですが、性能、コストの件で悩んでいます。
お力を貸していただけないでしょうか?
実現したいこと
Thanks for your message about
などの英文を単語検索したい
forと検索したらforを含んだ情報のみ抽出したい
※fore,foreverなどは対象外
案1
UNNEST(SPLIT(英文, ' ')) AS word
...
0
票
0
回答
49
閲覧数
BigQueryでテーブルの全カラム(フィールド)の欠損値を出力するsql文を書きたい
BigQueryにて、あるテーブルの全フィールドの欠損値の合計数を出力するquery文を作成したいのですが、こちらは地道に全カラムごとにcountを取るしかないのでしょうか?
PythonのPandasであればシンプルなやり方があると思いますが、BigQuery内だけで完結してこのような表出力は可能かお教えいただけますと幸いです。
以下、元テーブルとクエリ結果のイメージ
<元テーブル>
...
0
票
0
回答
87
閲覧数
GASでスプレッドシートからSQLクエリを取得し、そのクエリのパラメータを書き換える方法
掲題の件について方法がわからず、困っております。
スプレッドシートに記載したクエリをGASで取得し、GASからBigQueryにクエリを投げるコードを書いています。
ここで、所定のパラメータを取得したクエリに代入したいのですが、うまくいきません。
GASコード内にベタ打ちするとうまくいくのですが...
(クエリ ベタ打ちの例)
var query="SELECT * FROM hoge ...
0
票
0
回答
58
閲覧数
Google Analytics GA4プロパティからBigQueryへの連携時、一部のイベントパラメータがnullになってしまう
お世話になります。
Google Analytics GA4プロパティにカスタムイベントを送信しています。
このイベントには、以下のパラメータを設定しています。
item_id
item_name
また、当該イベントは各データストリームにおいて以下の方法で送信しています。
iOS/Androidデータストリーム: アプリ側プログラムからイベントを送信
webデータストリーム: ...
0
票
0
回答
369
閲覧数
SQLでテーブルの一部行列をpivot, unpivotで転地したい
こんにちは。下記イメージのようにSQLでテーブルを転置したいです。 pivot, unpivot を調べて試しましたが、上手く実現できませんでした。どのようなSQLを書けばよいでしょうか? なお、UNION ALLで強引に転置する方法は成功しました。
何卒ご教示お願い致します。
イメージ
転置前
転置後
比較
サンプルのテーブルを作るSQL例
CREATE TABLE {{table ...
0
票
1
回答
64
閲覧数
UNNESTして取得したJSONをgroup byしたい。
BigQueryでJSONでキー指定されて保存されたカラムをUNNESTして、["11","24"]の状態で取得できたのですが、
これを更にUNNESTしてc(11や24など)でgroup by したいのですが、下記SQLだとエラーになってしまいます。
どのように記載すれば、下記のような表になるでしょうか?
test|11
test|24
WITH
data ...
0
票
0
回答
129
閲覧数
queryメソッドを使用すると”TypeError: string indices must be integers”とエラーが発生してしまう
■やりたいこと
big queryのテーブルをqueryメソッドを使い操作したい
■やったこと
こちらのURLのスクリプトをそのまま実行
https://googleapis.dev/python/bigquery/latest/usage/queries.html
■起きたこと
最初は問題なく動いたが、何故か途中でエラーがでてしまうようになった
エラー内容:TypeError: string ...
0
票
0
回答
141
閲覧数
Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい
Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて
CSVで出力したいと考えています。
Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら
教えていただけますと幸いです。以下が試したことになります。
1.Big queryにテーブルstringsA, strinsBを2つ作成
stringsA
id
name
...
0
票
1
回答
118
閲覧数
bigqueryで特定の構造体をもつレコードのみ出力する方法
サンプルとして以下のjsonデータを登録します。
例えば一行目のHistory構造体を持つレコードのみ出力するsql文を書くために
Books.Historyのサイズを取得して比較したいのですが、やり方はないでしょうか?
◆JSONファイル:
{"User":{"Name":"aaaaa","age":"20&...
0
票
0
回答
89
閲覧数
Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい
やりたい・やりたかったこと
スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?)
BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい
その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい
今回は技術的詳細に関する質問というよりは、上記のような、...
0
票
1
回答
101
閲覧数
SQL テーブル上の2つのそれぞれの値を、1つのテーブルから参照する効率的な方法
SQLのJOINの方法で、効率的な方法を探しています。
言葉で説明するのが難しく・・・テーブルで説明します
(環境はBigQuery standardSQLです)
table_A
ID
name
departure
arrival
1
sato
100
200
2
suzuki
200
300
3
tanaka
300
200
table_B
ID
spot
100
tokyo
...
2
票
0
回答
179
閲覧数
BigQueryでカラム内のカンマで分割してフラグ作成する方法
【BigQuery】でのデータ加工についてご質問させてください。
カラム内にカンマ区切りで入っている、下記のようなデータがあります。
SELECT
"A" AS year , "1,2,5" AS product
UNION ALL SELECT "A" AS year , "1,2,5" AS product
...
0
票
0
回答
79
閲覧数
AWSからGCPへSTSを利用したアクセス時にNode.jsでは正常だが、PHPではエラーになる
AWS の IAM ロールと GCP のサービスアカウントを紐付けて鍵なしでアクセスする方法
上記サイトを参考に構築し、Node.jsでは正常に動作します。
PHPで実装をしていると、「Google\Cloud\Core\Exception\ServiceException」が発生します。
場所は、「vendor/google/cloud/Core/src/RequestWrapper.php」...
1
票
1
回答
315
閲覧数
SQLを用いて、複数システム同一ユーザーのIDを紐付けしてIDを振るロジック
複数システムのそれぞれ独自のユーザーIDに対して、同一ユーザーのIDを紐付けるためのユニークIDを振りたいと考えています。
SQLでどのようなロジックにすれば良いか、頭を悩ませておりまして、助言いただけませんでしょうか。
同一ユーザーを紐付けたテーブルはあります。これを元に「同一ユーザーを区別するための」ユニークIDを振りたいです。
複数システムの同一ユーザーを紐付けるため、...
0
票
1
回答
7,707
閲覧数
指定した期間内のデータ抽出方法について: No matching signature for operator BETWEEN for argument types: TIMESTAMP, DATE, DATE
やりたいこと
ビッグクエリのデータテーブルに対し、特定のカラム(タイムスタンプ型)を指定して任意の期間内のデータのみ抽出したい。
抽出条件
・satei_date が 2か月以内
現状のエラー
以下の通りクエリを記載しておりますが、エラーが出る状況です。
原因と修正方法についてご教示いただけますと幸いです。
クエリ
WHERE satei_date BETWEEN CURRENT_DATE() ...
0
票
1
回答
512
閲覧数
Google BigQueryの結果をPythonで複数Json形式で返す方法
以下のことを実行できるAPIをPythonのフレームワークのFlaskで作成しております。
SQLを実行する先のDBはGoogle BigQueryを使用しております。
①複数のレクエストパラメーター(luid)をリストで取得し、ループ処理でそれぞれを変数に格納
②①の変数をWhere区の条件に使用しSQLを実行する
*...
1
票
1
回答
829
閲覧数
BigQueryで取り込んだGAデータのdateを日付型に変えたい
以下のような簡単なコードなのですが、dataをcast(data as date) as dateとしてデータ型をStringからDateに変えたいのですが、エラーがでます。解決策をどなたかお教え願えませんか。
SELECT
date,
product.productSKU,
SUM(totals.pageviews) AS pageview,
SUM(totals.visits)...
1
票
0
回答
34
閲覧数
sum(if(...))の数が多いとWebUIからのクエリ実行ができない
あるテーブルを縦持ちから横持ちに変換(pivot)しようとしたところ、
カラム数が一定数を超えるとクエリが実行できなくなってしまいました。
構文エラーやエラーチェックなどはでず、単に「クエリが実行できません」というトーストがでます。
具体的には以下のようなクエリになります。
with sub as (
select
prime
,number
,sum(prime * ...
0
票
1
回答
160
閲覧数
BQ→データポータルの更新について
データポータルなのでここでの質問が適切かわかりませんが、、。
BQに入ってきたデータを、リアルタイムにデータポータルに表示させる
やり方がわかりません。知っている方がおられましたら、教えてください!
0
票
1
回答
108
閲覧数
bigqueryで2つのマスタからユニークkeyを作りたい
bigqueryというよりも、sqlの初歩的な質問になると思うのですが、
下記について困っています。
以下のような2種類のテーブルがあります。
①T_DATE
DATE,
2019-01-01
2019-01-02
2019-01-03
・・・
②T_PRODUCT
PRODUCT,
A
B
C
・・・
この種類のマスタテーブルから、
以下のようなテーブルを新規で作りたいです。
③...
1
票
1
回答
1,079
閲覧数
配列の中に複数の条件全てみたすレコードを抽出する
対象はGooleCloudBigqueryですが、Postgres等Arrayを持っているDBも同様と思います
id:1, arr_val: [{"a":"111"},{"a":"222"},{"a":"333"}]
id:2, arr_val: [{"a":"222"},{"a":"444"},{"a":"666"}]
・・・
といったデータ構造の時に
"a"...
2
票
0
回答
69
閲覧数
(Google Cloud PlatformのCompute Engineでシェルスクリプトを使い)SQL(BigQuery)を操作する際、日別でテーブルを作成する方法について
シェルスクリプトについての質問です。
最下部にサンプルコードの掲載しました。
シェルでループを回し、”一日毎に”(BigQueryを操作して)日別のテーブルを作成したいと考えております。
*(BigQueryの)記述内容に関して、日付指定の箇所以外は同様のもの
上記、日付部分を操作する為、以下のイメージを考えてます。
1.テーブル作成する為のクエリーをシェルでループ処理
2.ただし、上記の「...
1
票
1
回答
252
閲覧数
firebase authentication の情報をBigqueryに流し込めず困っています。
解析のために認証情報を取り扱うために使っているfirebaseのauthenticationの認証情報をBigQueryに流し込みたいと考えているのですが、うまくいっておりません。
https://support.google.com/firebase/answer/6318765?authuser=0
に書かれているようにBigQueryとfirebaseをリンクしてみたのですが、...
0
票
1
回答
665
閲覧数
bigquery-pythonでcreate_dataset, create_tableが動かない
bigquery-pythonを使って、ツイッターのデータをビッグクエリにインポートしようとしているのですができません。
どうやら、create_tableができていないみたいです。問題の部分だけ抽出すると以下のコードです。
import bigquery
# 認証情報はcredentials.jsonから取得。
# グーグルクラウドプラットフォームでサービスアカウントを作成して、「...
1
票
1
回答
9,037
閲覧数
グループ別の合計に対する比率を出したい
google big queryでのSQLで、
グループ別の合計に対する比率を出す方法に悩んでおります。
(通常のsqlの回答でもうれしいです)
用意しているテーブルは以下です。
score_data
+--------+-------+------+
| userID | score | age |
+--------+-------+------+
| 1 | 100 | ...
0
票
1
回答
8,402
閲覧数
big queryで日付を指定して取り出す方法
googleのbig queryを使ってある日付から日付までの行を取り出したいのですが、以下のコードを実行すると1件も対象コードになりません。どこを改善すればよいのでしょうか。
対象テーブルはデフォルトで存在するものです。対象テーブルの画像を添付しました。
SELECT
*
FROM `nyc-tlc.green.trips_201*`
WHERE
_TABLE_SUFFIX ...
0
票
0
回答
246
閲覧数
bigquery api の run_sync_query() メソッドのパラメータ "query_parameter" が機能しない?
--
python/google-cloud-bigquery==0.27.0 利用し client.run_sync_query() APIのquery_parameters を利用してみたのだが、バインド変数(@table_prefix)が置換されない。スタックトレースを見る限り機能していないように見えるが、コードとして何か不備があるのか?
--
i tried to call ...
0
票
1
回答
536
閲覧数
Adwords Editorでのインポートエラー
他社が管理していたadwordsの情報をadwords editorでエクスポートしたCSVデータをもらったので、新しく作ったアカウントにインポートしようとすると、「必須のアカウント列がありません」というエラーが出てインポートすることができません。
どなたか解決方法が分かる方はいませんでしょうか。
1
票
1
回答
584
閲覧数
BigqueryでGoogle Drive(スプレッドシート)とCSVデータを統合したテーブルを用意する方法
BigqueryでGoogle Driveなどの日々更新される外部ソースのデータと、CSVアップロードなどの通常のデータを統合させた1つのテーブルを作る方法はございますでしょうか?
詳細としては、
数年分の顧客データの蓄積と解析をBigqueryで実施しようとしています。BigqueryデータのビジュアライズツールとしてGoogle Datastudioを利用予定です。
...
0
票
1
回答
1,177
閲覧数
Big queryにてスプレッドシートのデータをインポートしたい
bigqueryにおいてスプレッドシートのデータをインポートしたのですが、以下の文章がでます。
なぜでしょうか。
Failed to create table: Invalid field name "". Fields must contain only letters, numbers, and underscores, start with a letter or underscore, ...
0
票
0
回答
86
閲覧数
Adwords/GoogleAnalytics/BigqueryのLINK設定をしたのですが、Bigqueryにデータが連携されません
とあるスマホアプリを開発しているものです。
Analytics360を利用して、以前からBigQueryExportでGA-BQ連携を利用しています。
一週間ほど前に、広告データ(trafficSourceデータ)をBigQueryで扱いたいのでGAにて「AdWordsLINK設定・AdWords Linking」を行いましたが、BigQuery側に変化がありません。
あまり情報もなく、...
0
票
1
回答
254
閲覧数
GROUP BYした結果をRepeated Fieldにする
Input Dataを、col1でGROUP BYした結果を元に、col2をRepeated FieldにしてExport Dataとして出力する方法が知りたい
Input Data
col1,col2
"a",1
"a",2
"b",1
Export Data
col1,col2_array
"a",1,2
"b",1
0
票
1
回答
1,345
閲覧数
スプレッドシートからBigQueryに接続してデータを取得する時にトリガーだと失敗する
BigQueryで集計したデータをGASで取得してスプレッドシートに出力する処理を書きました。
取得するためのクエリは以下です。
select * from
(SELECT appid, count(userno) as cnt FROM [hogehoge.dau_20151201]
group by appid having count(userno) > 1000)
order ...
0
票
1
回答
209
閲覧数
bigqueryの性能についてまとめたページを探しています
※プログラミングに関する質問と少し異なります。
google-bigqueryの導入を社内で検討しているのですが、導入にあたって、ディザスタリカバリや、平均復旧時間(MTTR)、障害発生件数等、性能の詳細情報を必要としています。(社内でのシステム導入申請書を出す際に必要です)
google公式ホームページは確認しましたが、上記に挙げたような詳細の情報を見つけることができません。。
...
1
票
3
回答
7,002
閲覧数
BigQueryでJSON文字列を保存して配列になっている値を集計したい場合のやり方
Qiitaの以下のエントリをみて、これができるとログの解析が捗りそうと思い色々試してみています。
http://qiita.com/hakobera/items/5e280ad33d72f82de39c
JSON_EXTRACT, JSON_EXTRACT_SCALARを使えば値を取り出せるのでこれで集計用のテーブルを作れば要件満たせそうと思っていたのですが、...
1
票
1
回答
396
閲覧数
App Engine Log TableからViewを生成したい
App Engineアプリからjson形式でログを出力し、Cloud LoggingのBQへのExport機能を使って、BQに入れ、そこからjsonをjson functionを使って、中身を抽出して、Viewを生成しようと思ったのですが、以下のQueryだと、Queryとしては実行できるけど、Viewを生成しようとするErrorが出ます。
SELECT
JSON_EXTRACT(...
1
票
2
回答
292
閲覧数
Repeated Fieldの内容を順番通りに表示したい
App EngineのLogをStreaming InsertでBigQueryにExportしています。
Application LogはprotoPayload.line.logMessageにRepeatedFieldとして格納されているのですが、以下のクエリではRepeatedFieldの順番が失われてしまいます。
Application Logの順番が狂うと、中身が追いにくいので、...