0

Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて
CSVで出力したいと考えています。

Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら
教えていただけますと幸いです。以下が試したことになります。

1.Big queryにテーブルstringsA, strinsBを2つ作成

stringsA

id name title description latitude longtitude
1 たか歯科 null null 35.1636963 136.884171
2 ホワイトニングクリニックtanaka null null 35.1704369 136.879532
3 aaaaaaaaaaaaaaa null null 37.952049 139.113178

stringsB

id name title description latitude longtitude
1 たか歯科 品川院 null null 35.1636963 136.884171
2 ホワイトニングクリニック Tanaka null null 35.1704369 136.879532
3 bbbbbbbbb null null 37.94230 139.12345

2.テーブルstringsAのB列にあるnameを、stringsBのB列にあるnameと比較
3. stringsAにあるテキストに最も近いstringsBの文字列をCSVで出力
出力されるCSVのイメージはこちら

stringsA stringsB similarity
たか歯科 たか歯科 品川院 0.4166666667
ホワイトニングクリニックtanaka ホワイトニングクリニック Tanaka 0.9189189189
aaaaaaaaaaaaaaa 0

以上を実現するために下記のようなコードを書きました。

from google.cloud import bigquery
from google.oauth2 import service_account
from difflib import get_close_matches, SequenceMatcher
import csv
key_path = 'KEY_PATH'
credentials =  service_account.Credentials.from_service_account_file(
    key_path,
    scopes=["https://www.googleapis.com/auth/cloud-platform"], #https://developers.google.com/identity/protocols/oauth2/scopes
)


stringsA = ('''
SELECT * FROM `stringsA`
''')

stringsB = ('''
SELECT * FROM `stringsB`
''')


client = bigquery.Client(
    credentials=credentials,
    project=credentials.project_id,
)
query_job = client.query(stringsA)
rows = query_job.result()

#### リスト b から一番類似している文字列を抽出し、
#### その類似度を取得し、それらをリストとして返す関数を定義。
#### 類似度の足切り率はデフォルトを最低にして、変更出来るようにしておく
def closest(x, rate=0.01):
    result = get_close_matches(x, stringsB, n=1, cutoff=rate)
    if len(result) <= 0:
        return [x, None, 0.0]
    result = result[0]
    s = SequenceMatcher(None, x, result)
    return [x, result, s.ratio()]

#### リスト a のデータ全てを順番に処理するリスト内包表記
data = [closest(s) for s in stringsA]

#### csvファイルとして出力(encoding等は必要に応じて変更)
with open('closest02.csv', 'w', newline='', encoding='UTF-8') as f:
    csvwriter = csv.writer(f)
    csvwriter.writerow(['stringsA','stringsB','類似度'])
    csvwriter.writerows(data)


ただ、出力されるCSVは以下のようになってしまい
想定している結果になりません。

stringsA stringsB 類似度
1
S 0
E 0
L 0
E 0

少し長くわかりずらいかもしれません。
以上となりますが、情報不足等ありましたら申し訳ございません。
その際はご指摘していただけますと幸いです。

2
  • query_job = client.query(stringsB)がない (テーブル作成していない)のでは? 結果も rowsのまま stringsA とか stringsB ではないし。
    – oriri
    2022年8月3日 5:17
  • 複数の手順を順番にこなさなければならない所を、まとめて1つの質問にしようとするから混乱して先に進めないのでしょう。1.BigQueryでデータを取得する。, 2.取得したデータの内容を把握する。, 3.取得したデータを後の処理(前回の質問)で対処可能な形に変換する。, 4.形を整えたデータを処理する。 という切り分けた手順の各ステップで、正常に処理出来たかどうかを確認してみてください。
    – kunif
    2022年8月4日 9:04

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。