Tensorflowを用いて、Python上で深層学習を行っています。
現在はtf.data.experimental.CsvDatasetを使って、学習用データセットをCSVファイルから読み込んでいます。その各CSVファイルはTenforflowの起動前に作成しておりますが、各ファイル・サイズが>100Gになり、HDのスペースやデータの移送など問題が発生して困っています。そこで、そのCSVファイルを事前に作成せず、プログラムの中で同様の情報が格納されたListを作成して、そのListを学習用データセットに変更する方法を探しています。
以下に現在使っているコードの一部を記載します。
import tensorflow as tf
import os
import sys
os.environ['CUDA_VISIBLE_DEVICES'] = "0"#GPUが複数台搭載されたPCを使っているため、これを指定しています。
outfn = "stackoverflow.csv"
dataset = tf.data.experimental.CsvDataset(outfn, [tf.string, tf.string])
# 以下は確認用
print (dataset)
for element in dataset.as_numpy_iterator():
print(element)
break
stackoverflow.csvには、2列のStringがカンマで繋がった状態で格納されています。
例:
aaaaaaaaaa1,bbbbbbbbbb1
aaaaaaaaaa1,bbbbbbbbbb2
aaaaaaaaaa2,cccccccccc1
(実際には、各文字列は1000文字ほどあり、行数は100万〜1億ほどあります。)
理想としては:
上記したtf.data.experimental.CsvDatasetを使わず、
stackoverflow.csvの情報をPC上で再構成・リストに格納したものをdatasetに格納する方法を探しています。
もしわかる方がおられましたら、ご教授していただけると幸いです。
よろしくお願いします。