0

手元のCSVファイル(テキスト, ラベル)をtorchtextで読み込んでdataloaderにしたいのですが、結果が転置されてしまいます。
train_loaderのshapeは(Batch_size, vocabrary_size)となるかと思うのですが、(vocabrary_size, Batch_size)となってしまいます。

どなたか原因を指摘頂けないでしょうか。

# フィールド定義
max_len = 25
TEXT = torchtext.data.Field(sequential=True, use_vocab=True,fix_length=max_len)
LABEL = torchtext.data.Field(sequential=False, use_vocab=False, is_target=True)

# データの読み込み
dataset = torchtext.data.TabularDataset(
    path='./sample.csv',
    format='csv',
    fields=[('Text', TEXT), ('Label', LABEL)])

# trainとtestで分割
train_dataset, test_dataset = dataset.split(split_ratio=0.8)

# 単語ID化
TEXT.build_vocab(train_dataset, min_freq=5)

# データローダーの作成
train_loader = torchtext.data.Iterator(train_dataset, train=True, batch_size=4)
test_loader = torchtext.data.Iterator(test_dataset, train=False, sort=False, batch_size=4)

1 件の回答 1

0

もともとそのような仕様だからだと思います。
なぜ、そのような仕様なのかというと、データをLSTMなどに入れるとき、まずは、テキストのシーケンス方向に沿って、ループしてから、各単語のバッチデータを順に入れていくので、(vocabrary_size, Batch_size)の順番の方が都合がよかったのだと思います。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。