2

ここの記事にあるPython検索エンジンをなんとか動かしたいです。
https://github.com/c-data/pysearch
詳しい解説の記事
http://nwpct1.hatenablog.com/entry/python-search-engine
なんとか環境の構築まではうまくいきました。

Mac os
vagrantにubuntu14.04を仮想で起動し
VirtualenvでPython3を仮想にし以下のモジュールがインストールしてあります。

  • Flask==0.12.2
  • Janome==0.3.4
  • Jinja2==2.9.6
  • MarkupSafe==1.0
  • Werkzeug==0.12.2
  • beautifulsoup4==4.6.0
  • certifi==2017.4.17
  • chardet==3.0.4
  • click==6.7
  • idna==2.5
  • itsdangerous==0.24
  • pymongo==3.4.0
  • requests==2.18.1
  • urllib3==1.21.1

ubuntu14.04にMongodb 2.4.9 32bitがインストールしてあります。

あとはgithubにあったファイルをダウンロードしてコピーし
Mogodbを起動して

$ python manage.py crawler

実行すればデータベースにURLが保存されると思ったのですがエラーが出てしまいました。

(dev)ユーザ名:/vagrant/pysearch-master$ python manage.py crawler
Traceback (most recent call last):
  File "manage.py", line 15, in <module>
    crawl_web('http://docs.sphinx-users.jp/contents.html', 2)
  File "/vagrant/pysearch-master/web_crawler/crawler.py", line 86, in crawl_web
    add_page_to_index(page_url, html)
  File "/vagrant/pysearch-master/web_crawler/crawler.py", line 73, in add_page_to_index
    add_to_index(word, url)
  File "/vagrant/pysearch-master/web_crawler/crawler.py", line 52, in add_to_index
    entry = col.find_one({'keyword': keyword})
  File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/pymongo/collection.py", line 1102, in find_one
    for result in cursor.limit(-1):
  File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/pymongo/cursor.py", line 1114, in next
    if len(self.__data) or self._refresh():
  File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/pymongo/cursor.py", line 1036, in _refresh
    self.__collation))
  File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/pymongo/cursor.py", line 873, in __send_message
    **kwargs)
  File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/pymongo/mongo_client.py", line 888, in _send_message_with_response
    server = topology.select_server(selector)
  File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/pymongo/topology.py", line 214, in select_server
    address))
  File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/pymongo/topology.py", line 189, in select_servers
    self._error_message(selector))
pymongo.errors.ServerSelectionTimeoutError: mongo_url:27017: [Errno -2] Name or service not known

サーバーの接続がうまく出来ていないように見えるのですがどうしたらいいでしょうか?

crawler.py
このファイルのこの部分が怪しいと思うのですがどうしたらいいのかわかりません。

from config import MONGO_URL

#DBに接続
client = MongoClient(MONGO_URL)
#urlparseでURLのパスだけ抜き出す。それでデータベースを取得

db = client[urlparse(MONGO_URL).path[1:]]
#存在するIndexというデータベースを取り出す。
col = db["Index"]

config.py
あとはこの部分です。

import os

#接続先のホストはデフォルトだと ‘localhost’ でポート番号は 27017
# application settings
#os.environ.get('MONGOHQ_URL')通常のサーバーにアプリをあげるならこのようにしてURLを持ってくる必要があると思う。
MONGO_URL = 'MONGO_URL'

# Generate a random secret key
SECRET_KEY = os.urandom(24)
CSRF_ENABLED = True

新しいエラー
今度はデータベースの名前は空の文字列に出来ないみたいなことを言われているのですが、これはもともIndexって名前のデータベースをMongodbに作成しておかないといけないのでしょうか?
おそらく勝手に作成されると思うのですがどうなんでしょうか?

Traceback (most recent call last):
  File "manage.py", line 14, in <module>
    from web_crawler.crawler import crawl_web
  File "/vagrant/pysearch-master/web_crawler/crawler.py", line 20, in <module>
    db = cliet[urlparse(MONGO_URL).path[1:]]
NameError: name 'cliet' is not defined
(dev)vagrant@vagrant-ubuntu-trusty-32:/vagrant/pysearch-master$ python manage.py crawler
Traceback (most recent call last):
  File "manage.py", line 14, in <module>
    from web_crawler.crawler import crawl_web
  File "/vagrant/pysearch-master/web_crawler/crawler.py", line 20, in <module>
    db = client[urlparse(MONGO_URL).path[1:]]
  File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/pymongo/mongo_client.py", line 996, in __getitem__
    return database.Database(self, name)
  File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/pymongo/database.py", line 106, in __init__
    _check_name(name)
  File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/pymongo/database.py", line 42, in _check_name
    raise InvalidName("database name cannot be the empty string")
pymongo.errors.InvalidName: database name cannot be the empty string

crawler.py引用

# -*- coding: utf-8 -*-

#pythonの標準のモジュールでurlからhtmlのファイルを持って来てくれる。
import requests
#pythonの標準のモジュールでurlの解析をしてくれる。
from urllib.parse import urlparse
#mongodbを操作する時に使用するモジュールでMongoClientでDBに接続する。
from pymongo import MongoClient
#日本語形態のやつを解析できる。
from janome.tokenizer import Tokenizer
#htmlからリンクを抜き出してくれる。
from bs4 import BeautifulSoup
#
from config import MONGO_URL

#DBに接続
client = MongoClient(MONGO_URL)
#urlparseでURLのパスだけ抜き出す。それでデータベースを取得

db = client[urlparse(MONGO_URL).path[1:]]
#存在するIndexというデータベースを取り出す。
col = db["Index"]


def _split_to_word(text):
    """Japanese morphological analysis with janome.
    Splitting text and creating words list.
    """
    t = Tokenizer()
    #token.surfaceで日本語の文字列だけ取り出せる。
    return [token.surface for token in t.tokenize(text)]


def _get_page(url):
    r = requests.get(url)
    if r.status_code == 200:
        return r.text


def _extract_url_links(html):
    """extract url links

    >>> _extract_url_links('aa<a href="link1">link1</a>bb<a href="link2">link2</a>cc')
    ['link1', 'link2']
    """
    #"html.parser"はなるべくpython標準のparserモジュールを使うように指定しているBeautifulSoup()で
    #BeautifulSoupで扱えるようにしている。
    soup = BeautifulSoup(html, "html.parser")
    return soup.find_all('a')


def add_to_index(keyword, url):
    entry = col.find_one({'keyword': keyword})
    if entry:
        if url not in entry['url']:
            entry['url'].append(url)
            col.save(entry)
        return
    # not found, add new keyword to index
    col.insert({'keyword': keyword, 'url': [url]})


def add_page_to_index(url, html):
    body_soup = BeautifulSoup(html, "html.parser").find('body')
    #htmlないの属性タグとその中身をchild_tagに入れていってる
    for child_tag in body_soup.findChildren():
        #beautifulsoupの機能でタグの名前だけ取り出してる
        if child_tag.name == 'script':
            continue
        child_text = child_tag.text
        for line in child_text.split('\n'):
            line = line.rstrip().lstrip()
            for word in _split_to_word(line):
                add_to_index(word, url)


def crawl_web(seed, max_depth):
    to_crawl = {seed}
    crawled = []
    next_depth = []
    depth = 0
    while to_crawl and depth <= max_depth:
        #回収したurlの後ろを削除しpage_urlに入れる。
        page_url = to_crawl.pop()
        if page_url not in crawled:
            html = _get_page(page_url)
            add_page_to_index(page_url, html)
            to_crawl = to_crawl.union(_extract_url_links(html))
            crawled.append(page_url)
        if not to_crawl:
            to_crawl, next_depth = next_depth, []
            depth += 1

新しいエラー2
データベースを確認したらURLは追加されていました。今度はそれを検索エンジンとしてクロームから見たいのですがcrawler.py(crawler.pyって深度設定がしてあるので読み込んだら勝手に止ままると思うのですが)を止めてからpython manage.py webpageを実行しlocalhost:9000にアクセスするのですが拒否されてしまいます。

pysearch-master/manage.py

# -*- coding: utf-8 -*-
import argparse
__author__ = 'c-bata'


if __name__ == '__main__':
    #エラーの時にメッセージを表示する。 
    parser = argparse.ArgumentParser("Runner")
    parser.add_argument('action', type=str, nargs=None, help="Select target 'crawler' or 'webpage'?")
    args = parser.parse_args()

    if args.action == 'crawler':
        #コマンドラインでcrawlerって打ち込まれたらweb_crawlerって言うフォルダからcrawler.pyを読み込んでcrawl_webっていうdefを持ってくる    
        from web_crawler.crawler import crawl_web
        crawl_web('http://docs.sphinx-users.jp/contents.html', 2)
    elif args.action == 'webpage':
        from search_engine import app
        app.run(debug=True, port=9000)
    else:
        raise ValueError('Please select "crawler" or "webpage".')

pysearch-master/search_engine/init.py

from urllib.parse import urlparse
from flask import Flask, render_template, request
from pymongo import MongoClient

app = Flask(__name__)
app.config.from_object('config')

# DB settings
MONGO_URL = app.config['MONGO_URL']
client = MongoClient(MONGO_URL)
db = client[urlparse(MONGO_URL).path[1:]]
col = db["Index"]


@app.route('/', methods=['GET', 'POST'])
def index():
    """Return index.html
    """
    if request.method == 'POST':
        keyword = request.form['keyword']
        if keyword:
            return render_template(
                'index.html',
                query=col.find_one({'keyword': keyword}),
                keyword=keyword)
    return render_template('index.html')

netstatでというコマンドで確認したらLISTEN状態になっていたので起動は出来ていると思います。

tcp        0      0 localhost:9000          *:*                     LISTEN

pingは飛ばすことが出来ません。
実行 ping -c 1 127.0.0.1:9000/

ping: unknown host 127.0.0.1:9000/

Vagrantについて続きの質問があるのでページを新しくさせて頂きました。ご協力お願いします。

やっと環境構築出来てここまで来たらどうして動かしたいので詳しい方協力して頂けないでしょうか?

2 件の回答 2

1
MONGO_URL = 'mongodb://localhost:27017/test'

という感じにデータベース名を指定してみては? この例だとデータベース名は test です。

Index はデータベース名でなくコレクション名のようですね。

8
  • ありがとうございます。'mongodb://localhost:27017/test'にして実行したらデータベースが作成されました。ですが今度はpython manage.py webpageでchromeからlocalhostへの接続が拒否されます。
    – wataru
    Commented 2017年9月24日 8:45
  • ポートフォワーディングの設定はしていますか?
    – masm
    Commented 2017年9月24日 11:18
  • おそらくしてないと思うのですが、ruby on railsの時はサーバーを立ててローカルでアクセス出来たので何もせずにできるのかと思っていました。
    – wataru
    Commented 2017年9月24日 11:22
  • vagrantのubuntuからMac osにデータを通すためにポートフォワーディングが必要なのでしょうか?
    – wataru
    Commented 2017年9月24日 11:41
  • vagrant の設定次第だと思います。virtualbox でいうところの hostonly などを設定してあれば、ポートフォワーディングなしで ubuntu の IP アドレス:9000 でアクセスできると思います。localhost はあくまで mac なので、ポートフォワーディングの設定がなければ、localhost と指定した時に勝手に ubuntu にアクセスすることはありません。質問の内容が変わってきていますので、解らなければ、別の質問で、Vagrantfile を添えて質問するのが良いと思います。
    – masm
    Commented 2017年9月24日 12:20
0

MongoDBをインストールして使えるようにして、アクセスするためのURLを

MONGO_URL = 'MONGO_URL'

の右辺に文字列で格納するのですね。

pymongoのチュートリアルは読んでいませんか?

http://api.mongodb.com/python/current/tutorial.html#making-a-connection-with-mongoclient

MONGO_URL = 'mongodb://localhost:27017/'

と書けばいいように思います。

3
  • 返信ありがとうございます。DBには接続出来たと思いますが、今度は別のエラーが出てしまいました。
    – wataru
    Commented 2017年9月24日 0:50
  • コードからはname 'cliet' is not definedが出るとは思えません。エラーになるからといって書きかえてたりしてませんか? 現時点での crawler.py を引用してみてください。
    – quickquip
    Commented 2017年9月24日 6:09
  • 返信ありがとうございます。現在のcrawler.py引用しました。よろしくお願いします。
    – wataru
    Commented 2017年9月24日 8:50

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。