1

言語処理を勉強中のものです。
/usr/local/lib/python3.5/dist-packages/tensorflow/_api/v1/keras/preprocessing/text/
には

__init__.py  __pycache__

しかなく、__init__.pyの中身にも

# This file is MACHINE GENERATED! Do not edit.
# Generated by: tensorflow/python/tools/api/generator/create_python_api.py script.
"""Utilities for text input preprocessing.

"""

from __future__ import print_function

from tensorflow.python.keras.preprocessing.text import Tokenizer
from tensorflow.python.keras.preprocessing.text import hashing_trick
from tensorflow.python.keras.preprocessing.text import one_hot
from tensorflow.python.keras.preprocessing.text import text_to_word_sequence

del print_function

とTokenizerのモジュールの定義がないのに、なぜ

from tensorflow.keras.preprocessing.text import Tokenizer

とすることでTokenizerが使えるようになるのでしょうか。Tokenizerの定義はどこに書いてあるのでしょうか。

2 件の回答 2

1

/usr/local/lib/python3.5/dist-packages/tensorflow/python/keras/preprocessing/text.pyがありませんか?

[参考]
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/keras/preprocessing/text.py

もしくは/usr/local/lib/python3.5/dist-packagesではないディレクトリ(例えば、/usr/local/lib/python2.7/dist-packagesとか)にあるのではないですかね?

もしそれも違っていれば、以下のコマンドで探してみてはどうでしょう。

sudo updatedb
locate tensorflow/python/keras/preprocessing/text.py
4
  • おっしゃる通り text.py が見つかりました。 最初から/usr/local/lib/python3.5/dist-packages/tensorflow/_api/v1/keras/preprocessing/text/__init__.pyに Tokenizer などの定義を書けばいい気がするのですが、なぜ「迂回」するようなディレクトリ構成になっているのでしょうか? Commented 2019年6月16日 9:09
  • Pythonのimportの仕様について少し勉強してみると、なぜそのtext.pyを参照しているのか分かると思います。 Commented 2019年6月16日 13:29
  • __init__.pyのコードによって、なぜこのtext.pyを参照しているのかは分かりましたが、なぜこのようなディレクトリ構成になっているのでしょうか? Commented 2019年6月16日 15:35
  • 疑問に思われた点が、私にはよく理解できませんでした。この質問はクローズしているので、疑問点を明確にした上で改めて質問を投稿いただいた方がいいかもしれません。その方が他の人からも回答がもらいやすいと思います。 Commented 2019年6月17日 3:16
0

以下↓↓、コメント誤りです。パッケージの理解が、おかしかったです。申し訳ございません。

(もしかすると回答になっていないかもしれませんが。)
Tokenizerは、モジュールではないです。

以下などが、参考になるのでは?
https://qiita.com/enoughspacefor/items/051b219ff403ef9a4ed5

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。