Tensorflowハブよりuniversal-sentence-encoderを使用して単語のベクトル化をしたいのですが、エラーが出てしまいます。
ソースコード
import numpy as np
import tensorflow_hub as hub
import tensorflow_text
import tensorflow as tf
model_url = 'https://tfhub.dev/google/universal-sentence-encoder-multilingual/3'
USE = hub.load(model_url)
with open(path_data_txt, 'r', encoding='utf-8') as f_r:
with open(path_data_txt, 'w', encoding='utf-8') as f_w:
for line in f_r:
vec = ','.join(list(map(str, USE(line).numpy().tolist()[0])))
f_w.write(vec+'\n')
エラーメッセージ
OSError: [Errno 36] File name too long:
path_data_txt
かpath_data_txt
の値(パス名)が文字列として長すぎるのだと思います。例えば Windows API の場合は Naming Files, Paths, and Namespaces - Win32 apps | Microsoft Docs に "In the Windows API (with some exceptions discussed in the following paragraphs), the maximum length for a path is MAX_PATH, which is defined as 260 characters." と記載されていて、最大で 260 文字となっています。この問題については回避策がある様です。