1

僕は今自然言語処理の勉強をしていて、本を参考にしながらコードを書いていました。

最後の予測が本のデータだとテストデータにもラベルがついているため以下のコードで正答率が出力されますが、自分が使用しているデータはテストデータにはTEXTしかないのでこのコードのままだとエラーが出てしまいます。

いろいろコードを改変してみたりしましたがうまく動きませんでした。どのようにしたら予測した値を出力することができますか?

エラーメッセージ

Attribute Error : Example has no attribute Label.

現状のコード

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

net_trained.eval()   # モデルを検証モードに
net_trained.to(device)

epoch_corrects = 0  # epochの正解数

for batch in (test_dl):  # testデータのDataLoader
    # batchはTextとLableの辞書オブジェクト

    # GPUが使えるならGPUにデータを送る
    inputs = batch.Text[0].to(device)  # 文章
    labels = batch.Label.to(device)  # ラベル

    # 順伝搬(forward)計算
    with torch.set_grad_enabled(False):

        # mask作成
        input_pad = 1  # 単語のIDにおいて、'<pad>': 1 なので
        input_mask = (inputs != input_pad)

        # Transformerに入力
        outputs, _, _ = net_trained(inputs, input_mask)
        _, preds = torch.max(outputs, 1)  # ラベルを予測

        # 結果の計算
        # 正解数の合計を更新
        epoch_corrects += torch.sum(preds == labels.data)

# 正解率
epoch_acc = epoch_corrects.double() / len(test_dl.dataset)

print('テストデータ{}個での正解率:{:.4f}'.format(len(test_dl.dataset),epoch_acc))
2
  • "モデルを検証モードに" というコメントがありますが、これは機械学習モデルはすでに学習済みということでしょうか?
    – hiropon
    Commented 2020年8月18日 5:59
  • 1
    コメントありがとうございます。はい。train、val_dataで学習、検証はしていて、いざtest_dataで予測をしようと思ったんですが、予測のみのやり方がわからず。。。
    – Rikubon
    Commented 2020年8月18日 8:45

1 件の回答 1

1
  • 機械学習で実現しようとしているタスクは文書分類で
  • 機械学習モデルは学習済み
  • testのデータセットには正解のラベルがない

そして、やりたいことは機械学習の分類結果だけ見る

ということなので、

下記で、ラベルをデータセットから読み取るのをやめる

labels = batch.Label.to(device)  # ラベル

下記で、正解率を出すことをやめる

        # 結果の計算
        # 正解数の合計を更新
        epoch_corrects += torch.sum(preds == labels.data)

# 正解率
epoch_acc = epoch_corrects.double() / len(test_dl.dataset)

のが正しい対応だと思いました。
学習が終わっていれば正解データは不要で、また未知のデータであるので正解率も出すことができません。機械学習モデルが十分に汎化されていればtestのデータセットでもきちんと分類できているはずです。

9
  • コメントありがとうございます。説明不十分な点が複数あり、すみませんでした。今回やっているタスクは文書分類です。今回はtorchtextを使ってself attensionを、試してみたく、本を読みながら実装していました。そしてepochを調整しながらtrainデータでの学習、valデータでの検証は行いました。そしてtestデータで予測を行いたかったのですが、今回使用したデータはラベルがありません。なので正答率を出すことは必要はなく、予測ラベルを必要としています。しかし、本に記載されていたコードではtestデータのラベルも込みのデータでの予測だったのでエラーが出てしまい、予測ラベルのみの出力の方法を質問させて頂いた次第です。
    – Rikubon
    Commented 2020年8月18日 8:53
  • なるほどですね。機械学習モデルが学習済みで、testデータに正解のラベルが存在しない→つまり機械学習モデルを実践で使用するのと同じことになります。"予測ラベル"という記述は意味が不明瞭です、出したいのは機械学習の分類結果だけということですよね?であれば、ソースコードの上の方でbatchからLabelを読み取るのをやめて、正答率を出すのもやめるのが正しいと思います。
    – hiropon
    Commented 2020年8月18日 10:02
  • あとちなみにtestのデータセットに正解のラベルが実はあったということはないですか?ソースコードが本からのコピーであれば、無いはずのtestデータセットのラベルを常に読み込みに行くのはつじつまが合わないんですよね…
    – hiropon
    Commented 2020年8月18日 10:19
  • コメントありがとうございます。その分類結果のみを出すコードを教えては頂けませんでしょうか?本のコピーと言うよりは参考にしながらかいた感じです。なので使っているデータの次元で書き換えはしています。しかし、最後のみコードがまったく書き方が分からないので(テストラベルが無いため)。これは昔のコンペのデータなのでテストラベルはありません。
    – Rikubon
    Commented 2020年8月18日 10:41
  • 失礼、それが質問の主題でしたか。preds = torch.max(outputs, 1) の結果をそのままprintで出せばいいのではないでしょうか。
    – hiropon
    Commented 2020年8月18日 10:54

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。