0

autoencoderで文章を学習したモデルをslackbotでテストしたいと考えています。
しかしながら、

Using TensorFlow backend.
Traceback (most recent call last):
File "/home/yudai/Desktop/keras_test.py", line 19, in
model = ae(len(word2id))
NameError: name 'ae' is not defined

keras_AE.pyで学習は可能ですが、次のkeras_test.pyでaeが使えません。
slackbot_setting.pyのせいかと思いましたが、関係ないようです。
slackbotは、てれかさんの
クリスマスにもなってカノジョがいないからカノジョを作ってみた。
を参考にいたしました。

原因がわかる方や、これはエラーでは?と思われる方がおられたら何卒ご教授お願いいたします。

追記:
No AutoEncoder in keras code??

poem.txtのデータ
朝霧 の 中 に 九段 の ともし 哉
あたたか な 雨 が 降る なり 枯葎
菜の花 や は つと 明るき 町 は づれ
秋風 や 伊予 へ 流る る 汐 の 音
長閑 さ や 障子 の 穴 に 海 見え て

keras_AE.py

# coding:utf-8
import numpy as np
import codecs
from keras.layers import Activation, Dense, Input
from keras.models import Model

#データの読み込み
with open(r'/home/yudai/Desktop/poem.txt', encoding='utf-8') as f:
    poems = f.read().splitlines()
text = poems[0]  # 1個目のデータ
print(text)
# コーパスの長さ
print('corpus length:', len(text))
# 文字数を数えるため、textをソート
chars = sorted(list(set(text)))
# 全文字数の表示
print('total chars:', len(chars))
# 文字をID変換
char_indices = dict((c, i) for i, c in enumerate(chars))
# IDから文字へ変換
indices_char = dict((i, c) for i, c in enumerate(chars))
#テキストを17文字ずつ読み込む
maxlen = 17
#サンプルバッチ数
step = 3
sentences = []
next_chars = []
for i in range(0, len(text) - maxlen, step):
    sentences.append(text[i: i + maxlen])
    next_chars.append(text[i + maxlen])
#学習する文字数を表示
print('Sequences:', sentences)
print('next_chars:', next_chars)
#ベクトル化する
print('Vectorization...')
x = np.zeros((len(sentences), maxlen, len(chars)), 
dtype=np.bool)
y = np.zeros((len(sentences), len(chars)), 
dtype=np.bool)
for i, sentence in enumerate(sentences):
    for t, char in enumerate(sentence):
        x[i, t, char_indices[char]] = 1
    y[i, char_indices[next_chars[i]]] = 1
#モデルを構築する工程に入る
print('Build model...')
#encoderの次元
encoding_dim = 128
#入力用の変数
input_word = Input(shape=(maxlen, len(chars)))
#入力された語がencodeされたものを格納する
encoded = Dense(128, activation='relu')(input_word)
encoded = Dense(64, activation='relu')(encoded)
encoded = Dense(32, activation='relu')(encoded)
#潜在変数(実質的な主成分分析)
latent = Dense(8, activation='relu')(encoded)
#encodeされたデータを再構成
decoded = Dense(32, activation='relu')(latent)
decoded = Dense(64, activation='relu')(decoded)
decoded = Dense(12, activation='relu')(encoded)
ae = Model(input=input_word, output=decoded)
#Adamで最適化、loss関数をcategorical_crossentropy
ae.compile(optimizer='Adam', 
loss='categorical_crossentropy')
ae.summary()

print(x.shape)
#autoencoderの実行
ae.fit(x, x,
       epochs=500,
       batch_size=256,
       shuffle=False)

#モデルの構造を保存
model_json = ae.to_json()
with open('keras_AE.json', 'w') as json_file:
    json_file.write(model_json)
#学習済みモデルの重みを保存
ae.save_weights('AE.h5')

slackbot_setting.py

API_TOKEN = "YOUR API TOKEN"

keras_test.py

from keras.models import Sequential
from keras.layers import Dense
from keras.models import model_from_json
import json
from collections import OrderedDict
import MeCab
import codecs
from slackbot.bot import default_reply
from slackbot.bot import Bot
import numpy
import os
import io, sys

sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')
tagger = MeCab.Tagger('mecabrc')
#モデルの構造を読む
id2word = json.load(open('keras_AE.json', 'r'))

id2word = {int(key): value for key, value in id2word.items()}
word2id
id2word.close()
#モデルをロードする
loaded_model = model_from json(id2word)
#重みを適用する
loded_model.load_weights('AE.h5')
model.train = False

@default_reply
def replay_message(message):
    parsed_sentence = []
    try:
        for chunk in tagger.parse(message.body["text"].encode("utf-8")).splitlines()[:-1]:
        (surface, feature) = chunk.decode("utf-8").split('\t')
        parsed_sentence.append(surface)
    parsed_sentence = ["<start>"] + parsed_sentence + ["<eos>"]

    ids = []
    for word in parsed_sentence:
        if word in word2id:
            id = word2id[word]
            ids.append(id)
        else:
            ids.append(0)
    ids_question = ids
    sentence = "".join(model.generate_sentence(ids_question, dictionary=id2word)).encode("utf-8")

    sentence = sentence.replace("◯", "")
    message.reply(sentence)
except Exception as e:
    print (e)
    message.reply("解析できなかったのでもう一度おねがいします。")

def main():
    bot = Bot()
    bot.run()

if __name__ == "__main__":
    main()

1 件の回答 1

2

Pythonではファイル間での変数の共有はできないので、1ファイルでまとめる、データを他の場所(jsonなど)に保管するなどの工夫がいります。

3
  • まとめてみました。ValueError: Layer model_1 was called with an input that isn't a symbolic tensor. Received type: <class 'int'>. Full input: [4]. All inputs to the layer should be tensors. Commented 2018年10月24日 14:42
  • Traceback (most recent call last): File "/home/yudai/.local/lib/python3.6/site-packages/keras/engine/base_layer.py", line 279, in assert_input_compatibility K.is_keras_tensor(x) File "/home/yudai/.local/lib/python3.6/site-packages/keras/backend/tensorflow_backend.py", line 474, in is_keras_tensor str(type(x)) + '. ' ValueError: Unexpectedly found an instance of type <class 'int'>`. Expected a symbolic tensor instance. Commented 2018年10月24日 14:45
  • During handling of the above exception, another exception occurred: Traceback (most recent call last): File "/home/yudai/Desktop/keras_AE.py", line 93, in <module> model = ae(len(word2id)) File "/home/yudai/.local/lib/python3.6/site-packages/keras/engine/base_layer.py", line 440, in call self.assert_input_compatibility(inputs) File "/home/yudai/.local/lib/python3.6/site-packages/keras/engine/base_layer.py", line 285, in assert_input_compatibility str(inputs) + '. All inputs to the layer ' Commented 2018年10月24日 14:45

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。