Skip to main content

[google-bigquery] タグが付いた質問

タグの使い方はまだ書かれていません。

絞り込み
並べ替え
タグ付けされた
2
0 回答
204 閲覧数

BigQueryでカラム内のカンマで分割してフラグ作成する方法

【BigQuery】でのデータ加工についてご質問させてください。 カラム内にカンマ区切りで入っている、下記のようなデータがあります。 SELECT  "A" AS year , "1,2,5" AS product UNION ALL SELECT "A" AS year , "1,2,5" AS product ...
user47038's user avatar
2
0 回答
76 閲覧数

(Google Cloud PlatformのCompute Engineでシェルスクリプトを使い)SQL(BigQuery)を操作する際、日別でテーブルを作成する方法について

シェルスクリプトについての質問です。 最下部にサンプルコードの掲載しました。 シェルでループを回し、”一日毎に”(BigQueryを操作して)日別のテーブルを作成したいと考えております。 *(BigQueryの)記述内容に関して、日付指定の箇所以外は同様のもの 上記、日付部分を操作する為、以下のイメージを考えてます。 1.テーブル作成する為のクエリーをシェルでループ処理 2.ただし、上記の「...
SatoshiMaruyama's user avatar
1
1 回答
9,868 閲覧数

グループ別の合計に対する比率を出したい

google big queryでのSQLで、 グループ別の合計に対する比率を出す方法に悩んでおります。 (通常のsqlの回答でもうれしいです) 用意しているテーブルは以下です。 score_data +--------+-------+------+ | userID | score | age | +--------+-------+------+ | 1 | 100 | ...
yumln258's user avatar
1
3 回答
7,103 閲覧数

BigQueryでJSON文字列を保存して配列になっている値を集計したい場合のやり方

Qiitaの以下のエントリをみて、これができるとログの解析が捗りそうと思い色々試してみています。 http://qiita.com/hakobera/items/5e280ad33d72f82de39c JSON_EXTRACT, JSON_EXTRACT_SCALARを使えば値を取り出せるのでこれで集計用のテーブルを作れば要件満たせそうと思っていたのですが、...
iyuichi's user avatar
  • 179
1
1 回答
438 閲覧数

SQLを用いて、複数システム同一ユーザーのIDを紐付けしてIDを振るロジック

複数システムのそれぞれ独自のユーザーIDに対して、同一ユーザーのIDを紐付けるためのユニークIDを振りたいと考えています。 SQLでどのようなロジックにすれば良いか、頭を悩ませておりまして、助言いただけませんでしょうか。 同一ユーザーを紐付けたテーブルはあります。これを元に「同一ユーザーを区別するための」ユニークIDを振りたいです。 複数システムの同一ユーザーを紐付けるため、...
TeSe's user avatar
  • 11
1
1 回答
892 閲覧数

BigQueryで取り込んだGAデータのdateを日付型に変えたい

以下のような簡単なコードなのですが、dataをcast(data as date) as dateとしてデータ型をStringからDateに変えたいのですが、エラーがでます。解決策をどなたかお教え願えませんか。 SELECT date, product.productSKU, SUM(totals.pageviews) AS pageview, SUM(totals.visits)...
Yui001's user avatar
  • 11
1
1 回答
1,360 閲覧数

配列の中に複数の条件全てみたすレコードを抽出する

対象はGooleCloudBigqueryですが、Postgres等Arrayを持っているDBも同様と思います id:1, arr_val: [{"a":"111"},{"a":"222"},{"a":"333"}] id:2, arr_val: [{"a":"222"},{"a":"444"},{"a":"666"}] ・・・ といったデータ構造の時に "a"...
stack_user's user avatar
1
1 回答
677 閲覧数

BigqueryでGoogle Drive(スプレッドシート)とCSVデータを統合したテーブルを用意する方法

BigqueryでGoogle Driveなどの日々更新される外部ソースのデータと、CSVアップロードなどの通常のデータを統合させた1つのテーブルを作る方法はございますでしょうか? 詳細としては、 数年分の顧客データの蓄積と解析をBigqueryで実施しようとしています。BigqueryデータのビジュアライズツールとしてGoogle Datastudioを利用予定です。 ...
Paul's user avatar
  • 11
1
1 回答
403 閲覧数

App Engine Log TableからViewを生成したい

App Engineアプリからjson形式でログを出力し、Cloud LoggingのBQへのExport機能を使って、BQに入れ、そこからjsonをjson functionを使って、中身を抽出して、Viewを生成しようと思ったのですが、以下のQueryだと、Queryとしては実行できるけど、Viewを生成しようとするErrorが出ます。 SELECT JSON_EXTRACT(...
sinmetal's user avatar
  • 508
1
0 回答
35 閲覧数

sum(if(...))の数が多いとWebUIからのクエリ実行ができない

あるテーブルを縦持ちから横持ちに変換(pivot)しようとしたところ、 カラム数が一定数を超えるとクエリが実行できなくなってしまいました。 構文エラーやエラーチェックなどはでず、単に「クエリが実行できません」というトーストがでます。 具体的には以下のようなクエリになります。 with sub as ( select prime ,number ,sum(prime * ...
user36520's user avatar
1
1 回答
320 閲覧数

firebase authentication の情報をBigqueryに流し込めず困っています。

解析のために認証情報を取り扱うために使っているfirebaseのauthenticationの認証情報をBigQueryに流し込みたいと考えているのですが、うまくいっておりません。 https://support.google.com/firebase/answer/6318765?authuser=0 に書かれているようにBigQueryとfirebaseをリンクしてみたのですが、...
Riku Oomori's user avatar
1
2 回答
304 閲覧数

Repeated Fieldの内容を順番通りに表示したい

App EngineのLogをStreaming InsertでBigQueryにExportしています。 Application LogはprotoPayload.line.logMessageにRepeatedFieldとして格納されているのですが、以下のクエリではRepeatedFieldの順番が失われてしまいます。 Application Logの順番が狂うと、中身が追いにくいので、...
sinmetal's user avatar
  • 508
0
1 回答
128 閲覧数

bigqueryで特定の構造体をもつレコードのみ出力する方法

サンプルとして以下のjsonデータを登録します。 例えば一行目のHistory構造体を持つレコードのみ出力するsql文を書くために Books.Historyのサイズを取得して比較したいのですが、やり方はないでしょうか? ◆JSONファイル: {"User":{"Name":"aaaaa","age":"20&...
user53102's user avatar
0
1 回答
9,783 閲覧数

指定した期間内のデータ抽出方法について: No matching signature for operator BETWEEN for argument types: TIMESTAMP, DATE, DATE

やりたいこと ビッグクエリのデータテーブルに対し、特定のカラム(タイムスタンプ型)を指定して任意の期間内のデータのみ抽出したい。 抽出条件 ・satei_date が 2か月以内 現状のエラー 以下の通りクエリを記載しておりますが、エラーが出る状況です。 原因と修正方法についてご教示いただけますと幸いです。 クエリ WHERE satei_date BETWEEN CURRENT_DATE() ...
user43094's user avatar
0
1 回答
125 閲覧数

bigqueryで2つのマスタからユニークkeyを作りたい

bigqueryというよりも、sqlの初歩的な質問になると思うのですが、 下記について困っています。 以下のような2種類のテーブルがあります。 ①T_DATE DATE, 2019-01-01 2019-01-02 2019-01-03 ・・・ ②T_PRODUCT PRODUCT, A B C ・・・ この種類のマスタテーブルから、 以下のようなテーブルを新規で作りたいです。 ③...
mathew's user avatar
  • 57
0
1 回答
9,668 閲覧数

big queryで日付を指定して取り出す方法

googleのbig queryを使ってある日付から日付までの行を取り出したいのですが、以下のコードを実行すると1件も対象コードになりません。どこを改善すればよいのでしょうか。 対象テーブルはデフォルトで存在するものです。対象テーブルの画像を添付しました。      SELECT  * FROM `nyc-tlc.green.trips_201*` WHERE   _TABLE_SUFFIX ...
pkoko's user avatar
  • 293
0
1 回答
582 閲覧数

Adwords Editorでのインポートエラー

他社が管理していたadwordsの情報をadwords editorでエクスポートしたCSVデータをもらったので、新しく作ったアカウントにインポートしようとすると、「必須のアカウント列がありません」というエラーが出てインポートすることができません。 どなたか解決方法が分かる方はいませんでしょうか。
joe-ro's user avatar
  • 79
0
1 回答
1,326 閲覧数

Big queryにてスプレッドシートのデータをインポートしたい

bigqueryにおいてスプレッドシートのデータをインポートしたのですが、以下の文章がでます。 なぜでしょうか。 Failed to create table: Invalid field name "". Fields must contain only letters, numbers, and underscores, start with a letter or underscore, ...
末良崇将's user avatar
0
1 回答
1,419 閲覧数

スプレッドシートからBigQueryに接続してデータを取得する時にトリガーだと失敗する

BigQueryで集計したデータをGASで取得してスプレッドシートに出力する処理を書きました。 取得するためのクエリは以下です。 select * from (SELECT appid, count(userno) as cnt FROM [hogehoge.dau_20151201] group by appid having count(userno) > 1000) order ...
iyuichi's user avatar
  • 179
0
1 回答
212 閲覧数

bigqueryの性能についてまとめたページを探しています

※プログラミングに関する質問と少し異なります。 google-bigqueryの導入を社内で検討しているのですが、導入にあたって、ディザスタリカバリや、平均復旧時間(MTTR)、障害発生件数等、性能の詳細情報を必要としています。(社内でのシステム導入申請書を出す際に必要です) google公式ホームページは確認しましたが、上記に挙げたような詳細の情報を見つけることができません。。 ...
tanaka's user avatar
  • 1
0
0 回答
16 閲覧数

GA4のデータをURLのパスごとにbigqueryのテーブルへ分割したい

GA4のデータを使い、google bigqueryでデータ分析をしようとしています。 GA4のデータ収集ではサイト丸ごととなっていて、bigqueryのスキャン量の兼ね合いもあるので、URLのパスごと (~~.jp/pathA/***, ~~.jp/pathB/***, ..)にデータセットを分けて格納し、それぞれの分析を考えています。 bigqueryでクエリを組んでみたのですが、...
beginner's user avatar
0
1 回答
53 閲覧数

bigquery-public-dataのnewyork.citibikedataを使用したサブクエリを作成する課題で出る、BigqueryのSQLエラーの解決法が分からない。

Bigqueryで下記SQLを記述時に以下のエラーになります No matching signature for operator = for argument types: STRING, INT64. Supported signature: ANY = ANY at [16:56] どこを直せばいいのかが分からない状態です。 原因と対策をお教えいただけますでしょうか。 記述は以下の通りです。...
t n's user avatar
  • 1
0
1 回答
137 閲覧数

UNNESTして取得したJSONをgroup byしたい。

BigQueryでJSONでキー指定されて保存されたカラムをUNNESTして、["11","24"]の状態で取得できたのですが、 これを更にUNNESTしてc(11や24など)でgroup by したいのですが、下記SQLだとエラーになってしまいます。 どのように記載すれば、下記のような表になるでしょうか? test|11 test|24 WITH data ...
lamp's user avatar
  • 21
0
0 回答
181 閲覧数

queryメソッドを使用すると”TypeError: string indices must be integers”とエラーが発生してしまう

■やりたいこと big queryのテーブルをqueryメソッドを使い操作したい ■やったこと こちらのURLのスクリプトをそのまま実行 https://googleapis.dev/python/bigquery/latest/usage/queries.html ■起きたこと 最初は問題なく動いたが、何故か途中でエラーがでてしまうようになった エラー内容:TypeError: string ...
hafuuu's user avatar
  • 7
0
0 回答
164 閲覧数

Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい

Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて CSVで出力したいと考えています。 Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら 教えていただけますと幸いです。以下が試したことになります。 1.Big queryにテーブルstringsA, strinsBを2つ作成 stringsA id name ...
hafuuu's user avatar
  • 7
0
0 回答
122 閲覧数

Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい

やりたい・やりたかったこと スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?) BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい 今回は技術的詳細に関する質問というよりは、上記のような、...
K_MM's user avatar
  • 25
0
1 回答
120 閲覧数

SQL テーブル上の2つのそれぞれの値を、1つのテーブルから参照する効率的な方法

SQLのJOINの方法で、効率的な方法を探しています。 言葉で説明するのが難しく・・・テーブルで説明します (環境はBigQuery standardSQLです) table_A ID name departure arrival 1 sato 100 200 2 suzuki 200 300 3 tanaka 300 200 table_B ID spot 100 tokyo ...
わらびもち's user avatar
0
0 回答
92 閲覧数

AWSからGCPへSTSを利用したアクセス時にNode.jsでは正常だが、PHPではエラーになる

AWS の IAM ロールと GCP のサービスアカウントを紐付けて鍵なしでアクセスする方法 上記サイトを参考に構築し、Node.jsでは正常に動作します。 PHPで実装をしていると、「Google\Cloud\Core\Exception\ServiceException」が発生します。 場所は、「vendor/google/cloud/Core/src/RequestWrapper.php」...
ricerice00's user avatar
0
1 回答
593 閲覧数

Google BigQueryの結果をPythonで複数Json形式で返す方法

以下のことを実行できるAPIをPythonのフレームワークのFlaskで作成しております。 SQLを実行する先のDBはGoogle BigQueryを使用しております。 ①複数のレクエストパラメーター(luid)をリストで取得し、ループ処理でそれぞれを変数に格納 ②①の変数をWhere区の条件に使用しSQLを実行する *...
amaturePy's user avatar
0
1 回答
164 閲覧数

BQ→データポータルの更新について

データポータルなのでここでの質問が適切かわかりませんが、、。 BQに入ってきたデータを、リアルタイムにデータポータルに表示させる やり方がわかりません。知っている方がおられましたら、教えてください!
keiichi's user avatar
0
1 回答
683 閲覧数

bigquery-pythonでcreate_dataset, create_tableが動かない

bigquery-pythonを使って、ツイッターのデータをビッグクエリにインポートしようとしているのですができません。 どうやら、create_tableができていないみたいです。問題の部分だけ抽出すると以下のコードです。 import bigquery # 認証情報はcredentials.jsonから取得。 # グーグルクラウドプラットフォームでサービスアカウントを作成して、「...
古賀恭平's user avatar
0
0 回答
261 閲覧数

bigquery api の run_sync_query() メソッドのパラメータ "query_parameter" が機能しない?

-- python/google-cloud-bigquery==0.27.0 利用し client.run_sync_query() APIのquery_parameters を利用してみたのだが、バインド変数(@table_prefix)が置換されない。スタックトレースを見る限り機能していないように見えるが、コードとして何か不備があるのか? -- i tried to call ...
ken's user avatar
  • 1
0
0 回答
87 閲覧数

Adwords/GoogleAnalytics/BigqueryのLINK設定をしたのですが、Bigqueryにデータが連携されません

とあるスマホアプリを開発しているものです。 Analytics360を利用して、以前からBigQueryExportでGA-BQ連携を利用しています。 一週間ほど前に、広告データ(trafficSourceデータ)をBigQueryで扱いたいのでGAにて「AdWordsLINK設定・AdWords Linking」を行いましたが、BigQuery側に変化がありません。 あまり情報もなく、...
Naoki Hyu's user avatar
0
1 回答
260 閲覧数

GROUP BYした結果をRepeated Fieldにする

Input Dataを、col1でGROUP BYした結果を元に、col2をRepeated FieldにしてExport Dataとして出力する方法が知りたい Input Data col1,col2 "a",1 "a",2 "b",1 Export Data col1,col2_array "a",1,2 "b",1
sinmetal's user avatar
  • 508