クローラーを作りたいのですが
何から始めていいかわからず困っています。
下の質問でどれか一つでもいいので教えていただくと嬉しいです
どいう風にwebクローラーは作るのか
どいう風にwebクローラーは動くのか
webクローラーの仕組みを教えてください。
そしてwebクローラーはどのようにしてweb情報収集するのかを教えてください。
-
それらは1冊の書籍にしても足りないくらいの情報になります。こうしたサイトの1個の質問の回答に書ける量では無いでしょう。その話題を取り扱っている書籍を購入して調べた方が良いと思われます。 – kunif 20年7月1日 9:16
-
1もっと質問の範囲を絞って、端的に回答できるくらいにしていただけると嬉しいです。たとえば具体的にどういうことをなさりたいですか? 質問は自由に 編集 できるのでご一考くださいませ。 – nekketsuuu♦ 20年7月1日 10:29
-
kunifさんへプログラム関係の書籍だいたいおいくらするのですか – user40889 20年7月2日 5:54
-
nekketsuuuさんへこんな感じに編集したのですがわかりやすいですか? – user40889 20年7月2日 5:55
-
1図書館で借りて読む手もあります。カーリル | 日本最大の図書館蔵書検索サイト 最寄りの図書館で依頼すれば他の図書館の蔵書を借りられる場合もありますよ。図書館間相互貸借 - Wikipedia – kunif 20年7月2日 9:21
クローラ (の仕組み) って要するに
- http / https を使ってある web page の HTML ソースを取得し
- 人に見える部分(本文)とコンピュータ内部でのみ処理する部分とを切り分け
- 本文は自然言語解析処理にまわしたうえでデータベースに登録し(関連情報とともに)
- 広告とか、興味ない部分は切り捨てる
- リンク先で同じことをする(とデータ量があっという間に爆発するのでそれなりの実行資源が必要)
これらの処理のうち
- 自然言語解析部分は検索エンジンがそれぞれ独自のノウハウを持っていて、それぞれの独自性を発揮するコアなところで
- それ以外はさほど難しくない(機械であることを隠すにはそれなりに技術が必要)
んだろうと思われます。実のところクローラは単なるデータ取得部に過ぎないわけで、実際上はその後工程、取得したデータをどう活用するかのほうがはるかに難しいしお金になるところです(ターゲット広告とか)
今どきは curl
コマンドで最初の「ソース取得」はできちゃいますし、最初の1歩としてはこれで十分かもしれないっす。