Skip to main content

[google-bigquery] タグが付いた質問

タグの使い方はまだ書かれていません。

15 未回答やベストアンサーなし質問
絞り込み
並べ替え
タグ付けされた
2
0 回答
204 閲覧数

BigQueryでカラム内のカンマで分割してフラグ作成する方法

【BigQuery】でのデータ加工についてご質問させてください。 カラム内にカンマ区切りで入っている、下記のようなデータがあります。 SELECT  "A" AS year , "1,2,5" AS product UNION ALL SELECT "A" AS year , "1,2,5" AS product ...
user47038's user avatar
2
0 回答
76 閲覧数

(Google Cloud PlatformのCompute Engineでシェルスクリプトを使い)SQL(BigQuery)を操作する際、日別でテーブルを作成する方法について

シェルスクリプトについての質問です。 最下部にサンプルコードの掲載しました。 シェルでループを回し、”一日毎に”(BigQueryを操作して)日別のテーブルを作成したいと考えております。 *(BigQueryの)記述内容に関して、日付指定の箇所以外は同様のもの 上記、日付部分を操作する為、以下のイメージを考えてます。 1.テーブル作成する為のクエリーをシェルでループ処理 2.ただし、上記の「...
SatoshiMaruyama's user avatar
1
0 回答
35 閲覧数

sum(if(...))の数が多いとWebUIからのクエリ実行ができない

あるテーブルを縦持ちから横持ちに変換(pivot)しようとしたところ、 カラム数が一定数を超えるとクエリが実行できなくなってしまいました。 構文エラーやエラーチェックなどはでず、単に「クエリが実行できません」というトーストがでます。 具体的には以下のようなクエリになります。 with sub as ( select prime ,number ,sum(prime * ...
user36520's user avatar
1
1 回答
320 閲覧数

firebase authentication の情報をBigqueryに流し込めず困っています。

解析のために認証情報を取り扱うために使っているfirebaseのauthenticationの認証情報をBigQueryに流し込みたいと考えているのですが、うまくいっておりません。 https://support.google.com/firebase/answer/6318765?authuser=0 に書かれているようにBigQueryとfirebaseをリンクしてみたのですが、...
Riku Oomori's user avatar
0
0 回答
16 閲覧数

GA4のデータをURLのパスごとにbigqueryのテーブルへ分割したい

GA4のデータを使い、google bigqueryでデータ分析をしようとしています。 GA4のデータ収集ではサイト丸ごととなっていて、bigqueryのスキャン量の兼ね合いもあるので、URLのパスごと (~~.jp/pathA/***, ~~.jp/pathB/***, ..)にデータセットを分けて格納し、それぞれの分析を考えています。 bigqueryでクエリを組んでみたのですが、...
beginner's user avatar
0
1 回答
53 閲覧数

bigquery-public-dataのnewyork.citibikedataを使用したサブクエリを作成する課題で出る、BigqueryのSQLエラーの解決法が分からない。

Bigqueryで下記SQLを記述時に以下のエラーになります No matching signature for operator = for argument types: STRING, INT64. Supported signature: ANY = ANY at [16:56] どこを直せばいいのかが分からない状態です。 原因と対策をお教えいただけますでしょうか。 記述は以下の通りです。...
t n's user avatar
  • 1
0
1 回答
137 閲覧数

UNNESTして取得したJSONをgroup byしたい。

BigQueryでJSONでキー指定されて保存されたカラムをUNNESTして、["11","24"]の状態で取得できたのですが、 これを更にUNNESTしてc(11や24など)でgroup by したいのですが、下記SQLだとエラーになってしまいます。 どのように記載すれば、下記のような表になるでしょうか? test|11 test|24 WITH data ...
lamp's user avatar
  • 21
0
0 回答
181 閲覧数

queryメソッドを使用すると”TypeError: string indices must be integers”とエラーが発生してしまう

■やりたいこと big queryのテーブルをqueryメソッドを使い操作したい ■やったこと こちらのURLのスクリプトをそのまま実行 https://googleapis.dev/python/bigquery/latest/usage/queries.html ■起きたこと 最初は問題なく動いたが、何故か途中でエラーがでてしまうようになった エラー内容:TypeError: string ...
hafuuu's user avatar
  • 7
0
0 回答
164 閲覧数

Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい

Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて CSVで出力したいと考えています。 Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら 教えていただけますと幸いです。以下が試したことになります。 1.Big queryにテーブルstringsA, strinsBを2つ作成 stringsA id name ...
hafuuu's user avatar
  • 7
0
0 回答
122 閲覧数

Octoparse→GoogleDrive→BigQueryBIengine→Googledataportalに表示する流れを作りたい

やりたい・やりたかったこと スクレイピングツールOctoparseにて定期実行したデータをクラウドに上げたい(API利用?) BigQueryBIEngineを介して高速化した状態でGoogleDataPortalに表示したい その他GCP上のどのようなサービスを利用すれば最も低コストで実現できるかを知りたい 今回は技術的詳細に関する質問というよりは、上記のような、...
K_MM's user avatar
  • 25
0
0 回答
92 閲覧数

AWSからGCPへSTSを利用したアクセス時にNode.jsでは正常だが、PHPではエラーになる

AWS の IAM ロールと GCP のサービスアカウントを紐付けて鍵なしでアクセスする方法 上記サイトを参考に構築し、Node.jsでは正常に動作します。 PHPで実装をしていると、「Google\Cloud\Core\Exception\ServiceException」が発生します。 場所は、「vendor/google/cloud/Core/src/RequestWrapper.php」...
ricerice00's user avatar
0
1 回答
593 閲覧数

Google BigQueryの結果をPythonで複数Json形式で返す方法

以下のことを実行できるAPIをPythonのフレームワークのFlaskで作成しております。 SQLを実行する先のDBはGoogle BigQueryを使用しております。 ①複数のレクエストパラメーター(luid)をリストで取得し、ループ処理でそれぞれを変数に格納 ②①の変数をWhere区の条件に使用しSQLを実行する *...
amaturePy's user avatar
0
1 回答
164 閲覧数

BQ→データポータルの更新について

データポータルなのでここでの質問が適切かわかりませんが、、。 BQに入ってきたデータを、リアルタイムにデータポータルに表示させる やり方がわかりません。知っている方がおられましたら、教えてください!
keiichi's user avatar
0
0 回答
261 閲覧数

bigquery api の run_sync_query() メソッドのパラメータ "query_parameter" が機能しない?

-- python/google-cloud-bigquery==0.27.0 利用し client.run_sync_query() APIのquery_parameters を利用してみたのだが、バインド変数(@table_prefix)が置換されない。スタックトレースを見る限り機能していないように見えるが、コードとして何か不備があるのか? -- i tried to call ...
ken's user avatar
  • 1
0
0 回答
87 閲覧数

Adwords/GoogleAnalytics/BigqueryのLINK設定をしたのですが、Bigqueryにデータが連携されません

とあるスマホアプリを開発しているものです。 Analytics360を利用して、以前からBigQueryExportでGA-BQ連携を利用しています。 一週間ほど前に、広告データ(trafficSourceデータ)をBigQueryで扱いたいのでGAにて「AdWordsLINK設定・AdWords Linking」を行いましたが、BigQuery側に変化がありません。 あまり情報もなく、...
Naoki Hyu's user avatar