Skip to main content
2 / 3
本文から 2 文字削除; タイトルを編集
cubick
  • 2.1万
  • 5
  • 27
  • 64

torchtext.data.Iteratorでdataloaderを作成すると、結果が転値(Transpose)されてしまう

手元のCSVファイル(テキスト, ラベル)をtorchtextで読み込んでdataloaderにしたいのですが、結果が転置されてしまいます。
train_loaderのshapeは(Batch_size, vocabrary_size)となるかと思うのですが、(vocabrary_size, Batch_size)となってしまいます。

どなたか原因を指摘頂けないでしょうか。

# フィールド定義
max_len = 25
TEXT = torchtext.data.Field(sequential=True, use_vocab=True,fix_length=max_len)
LABEL = torchtext.data.Field(sequential=False, use_vocab=False, is_target=True)

# データの読み込み
dataset = torchtext.data.TabularDataset(
    path='./sample.csv',
    format='csv',
    fields=[('Text', TEXT), ('Label', LABEL)])

# trainとtestで分割
train_dataset, test_dataset = dataset.split(split_ratio=0.8)

# 単語ID化
TEXT.build_vocab(train_dataset, min_freq=5)

# データローダーの作成
train_loader = torchtext.data.Iterator(train_dataset, train=True, batch_size=4)
test_loader = torchtext.data.Iterator(test_dataset, train=False, sort=False, batch_size=4)
TBan
  • 11
  • 3