0

以前の質問(FileNotFoundErrorで.pyファイルの先に.tsvファイルが存在する) の続きになります。

以下のコード

#data_processing.
from mozilla_common_voice import MozillaCommonVoiceDataset
from urban_sound_8K import UrbanSound8K
from dataset import Dataset
import warnings

warnings.filterwarnings(action='ignore')

mozilla_basepath = r'C:\Users\ユーザ名\cnn-audio-denoiser-master\data_processing\en'
urbansound_basepath = r'C:\Users\ユーザ名\cnn-audio-denoiser-master\data_processing\UrbanSound8K'

mcv = MozillaCommonVoiceDataset(mozilla_basepath, val_dataset_size=1000)
clean_train_filenames, clean_val_filenames = mcv.get_train_val_filenames()

us8K = UrbanSound8K(urbansound_basepath, val_dataset_size=200)
noise_train_filenames, noise_val_filenames = us8K.get_train_val_filenames()

windowLength = 256
config = {'windowLength': windowLength,
          'overlap': round(0.25 * windowLength),
          'fs': 16000,
          'audio_max_duration': 0.8}

val_dataset = Dataset(clean_val_filenames, noise_val_filenames, **config)
val_dataset.create_tf_record(prefix='val', subset_size=2000)

の一番最後の行(val_dataset.create_tf_record(prefix='val', subset_size=2000))で以下のエラーが出てしまいます。

UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-18-efacc0a033b7> in <module>
     23 
     24 val_dataset = Dataset(clean_val_filenames, noise_val_filenames, **config)
---> 25 val_dataset.create_tf_record(prefix='val', subset_size=2000)
     26 
     27 train_dataset = Dataset(clean_train_filenames, noise_train_filenames, **config)

~\dataset.py in create_tf_record(self, prefix, subset_size, parallel)
    139                 continue
    140 
--> 141             writer = tf.io.TFRecordWriter(tfrecord_filename)
    142             clean_filenames_sublist = self.clean_filenames[i:i + subset_size]
    143 

~\anaconda3\lib\site-packages\tensorflow\python\lib\io\tf_record.py in __init__(self, path, options)
    296 
    297     # pylint: disable=protected-access
--> 298     super(TFRecordWriter, self).__init__(
    299         compat.as_bytes(path), options._as_record_writer_options())
    300     # pylint: enable=protected-access

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8e in position 65: invalid start byte

こちらのUnicodeDecodeErrorの対処法について調べたところ、encoding='shift_jis' というコードがあったので

val_dataset.create_tf_record(prefix='val', subset_size=2000,encoding='shift_jis')

で実行してみましたが、

TypeError: create_tf_record() got an unexpected keyword argument 'encoding'

と出たのでおそらくこの形ではないのかと思いました。

こちらのエラーについて、何か解決策を頂きたいです。

不足している情報があるようでしたらそれを教えていただいた後、可能な限り記述します。
よろしくお願いします。

6
  • 可能性の一つとしてWindowsのファイル名の問題があり, (変換が)うまく動く場合と(アプリが)動かない場合があります。試しに日本語を含まないパス名にしてみてはどうでしょう。参考 windowsのファイル名の文字コード
    – oriri
    Commented 2021年12月14日 6:52
  • 私が質問に出している参照パスの(ユーザ名)の事でしょうか。こちらは質問としていろんな人に見てもらう時に私のプライベートの情報が出てしまうかと思い、仮のフォルダ名にしましたので、実際は数字もしくはアルファベットで構成されています。
    – user48401
    Commented 2021年12月14日 15:42
  • tfrecord_filenameを作っているのがdataset.py#L133で確かにShiftJIS文字が含まれるようにはみえませんね。最終的にエラーになっているのはtensorflowcompat.py#L60だと思われますが、それに渡すencodingパラメータを外から指定する方法が無いようです。例えばcnn-audio-denoiserdataset.pyに手を入れて、writer = tf.io.TFRecordWriter(tfrecord_filename)を呼ぶ直前にあらかじめ自分でtfrecord_filenamebytesarrayに変換してみてはどうでしょう?
    – kunif
    Commented 2021年12月16日 3:46
  • 私はpythonの知識に疎いのですが、bytearrayに変換というのは、          このような形になりますかね?b = bytearray("tfrecord_filename", encoding="utf-8") str1 = bytes(b) print(str1)
    – user48401
    Commented 2021年12月16日 5:43
  • また、エラーになっているのはtensorflowのcompat.py#L60と言っていますが、このtensorflowとは、\anaconda3\lib\site-packages\tensorflow\python\lib\io\tf_record.pyのtf_record.pyの事を指しているのですか。ちなみに、私のファイルにあるcompat.pyにはdef as_bytes(bytes_or_text, encoding='utf-8'): """Converts bytearray, bytes, or unicode python input types to bytes. Uses utf-8 encoding for text by default.      と64行目から67行目に書かれていました。
    – user48401
    Commented 2021年12月16日 6:00

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。