0

python上で分かち書きをしたテキストファイルに対しストップワードを指定し、データの前処理を行いたいのですが、指定した語の1部が残ってしまいます。
消えているものもあるのですが、すべてを消す方法がわかりません。
色々とストップワードについて調べてみたのですが、なかなかこのような現象に陥っている方がおらず、途方に暮れています。
どなたかご教授いただけると幸いです。

使用環境
Windows10
jupyter notebook(python3)

with open('※対象のファイル.txt※',mode='r',encoding = 'utf-8-sig') as p:
text2 = p.read()
stopwords = ['し', '+' ,'さ','れ','いる','れる','これ','おり','なら','ところ','が','ため','なっ','み','よう','やす','もの','られる' ,'こと','する','ある','なる','いよ','なり','の','よう','うち','これ','なく']
text2 = text2.split()
text3 = [token for token in text2 if token not in stop_words] 

アウトプット(抜粋)
'', 'ある', 'デザイン', '材質', 'うまく', '生かし', '印象', '受ける', '視力', '矯正', '用', 'サングラス', '20', '歳', '代', '30', '歳', '代', '対象', 'こと', '若者', '自分', 'ファッション', 'あわせる', 'こと', 'できる', 'よう', '個性', '的', 'デザイン', '掛け', 'やす'

太字部分に見られるように、ストップワードで指定した語が残っています。

python初心者(もっと言えばプログラミング全般)なので基本的なミスをしているかもしれません。

2
  • stopwords = [...]' と定義していますが、text3 = [... not in stop_words] では stop_words となっています。質問欄に書き移す際の間違いでしょうか?
    – user39889
    Commented 2019年10月28日 4:05
  • か、解決しました、、、、 めちゃくちゃ基本的なミスでした、ありがとうございます。 Commented 2019年10月28日 6:11

1 件の回答 1

0

コメントでの回答により解決いたしましたので自己回答とさせていただきます。
回答者様、ありがとうございました。

1
  • 2
    自己回答そのものは問題ありませんが、この回答を見ればどこが間違っていたのか/どう直したのかが分かるよう、コメントでのやり取りを踏まえて回答としてみてください。
    – cubick
    Commented 2019年11月14日 11:28

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。