-1

機械学習のために大量に画像を保存したいんですがWeb上の画像を一気に保存する方法や効率よく保存する方法はありませんか?
Macを使っています。

2
  • 1
    どのような学習を行いたいのか分かりませんが、既存のデータセットを用いるのでは不充分なのでしょうか。インターネット上にはたくさんの機械学習向けデータセットが存在します。
    – nekketsuuu
    2017年9月3日 11:09
  • コメントありがとうございます。今まで既存のデータセットを扱っていたのでオリジナルのデータセットでも少し学習したいと思いました。
    – user23690
    2017年9月3日 15:12

2 件の回答 2

3

質問が漠然としているので回答も漠然としたものになります.

一般に我々は画像の場所を知ることができます.さらに画像の場所がわかれば我々はそれを保存することができます.したがって欲しいたくさんの画像の場所をそれぞれ知ることができれば,それを順に保存して行くことができるでしょう.

画像を取りに行く先の取得に関しては様々な手段があります.例えば flickr は 検索ができる api を整備しているのでこういったものを使ってもいいでしょう.何らかのサイトで表示されている画像を集めたいならいわゆるスクレイピングの範疇になるかもしれません.とにかく色々な方法で,欲しい画像たちの url を手に入れましょう.

保存に関してはそれこそ言語ごとに様々な書きようがあります.簡単には wgetcurl を呼びだせばよいでしょうし,たとえば python なら urllib.request.urlretrieve のような便利な関数もあります.この時,大量のリクエストを一度に投げるのは非常に行儀の悪い(そして場合によってはより具体的に問題になる)ことですので,適当に間隔を空けながら順にダウンロードしていくことになると思います.


とはいうものの,機械学習を試してみるのが目的であればふつうは公開されているデータセットを使うのが一番というようにも思います(画像の選定,いらんものが入ってないかの確認,必要ならアノテーションの付加,そういう重要な手間が全部省けます).何か入門書をお使いならしばしばおすすめのデータセットが載っています.手書きの数字認識では MNIST が有名で,google もなんかやっているみたい ですし,英語版 wikipedia に一覧記事もあるようです.

2

一般論として実装方法や作法を一通り説明すると本一冊必要になります。

ピンポイントな本がありますので紹介しておきます。

  • Rubyによるクローラー開発技法 ISBN 4797380357
  • Pythonクローリング&スクレイピング ISBN 4774183679

読んだわけではないので内容は保証できません。また同テーマの本はほかにもあります。

2
  • 回答ありがとうございます。Pythonクローリング&スクレイピングを購入してみようと思います。
    – user23690
    2017年9月4日 4:54
  • 1
    Pythonクローリング&スクレイピングとても面白くためになりました。ありがとうございました。
    – user23690
    2017年9月8日 12:48

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。