機械学習のために大量に画像を保存したいんですがWeb上の画像を一気に保存する方法や効率よく保存する方法はありませんか?
Macを使っています。
2 件の回答
質問が漠然としているので回答も漠然としたものになります.
一般に我々は画像の場所を知ることができます.さらに画像の場所がわかれば我々はそれを保存することができます.したがって欲しいたくさんの画像の場所をそれぞれ知ることができれば,それを順に保存して行くことができるでしょう.
画像を取りに行く先の取得に関しては様々な手段があります.例えば flickr は 検索ができる api を整備しているのでこういったものを使ってもいいでしょう.何らかのサイトで表示されている画像を集めたいならいわゆるスクレイピングの範疇になるかもしれません.とにかく色々な方法で,欲しい画像たちの url を手に入れましょう.
保存に関してはそれこそ言語ごとに様々な書きようがあります.簡単には wget
や curl
を呼びだせばよいでしょうし,たとえば python なら urllib.request.urlretrieve
のような便利な関数もあります.この時,大量のリクエストを一度に投げるのは非常に行儀の悪い(そして場合によってはより具体的に問題になる)ことですので,適当に間隔を空けながら順にダウンロードしていくことになると思います.
とはいうものの,機械学習を試してみるのが目的であればふつうは公開されているデータセットを使うのが一番というようにも思います(画像の選定,いらんものが入ってないかの確認,必要ならアノテーションの付加,そういう重要な手間が全部省けます).何か入門書をお使いならしばしばおすすめのデータセットが載っています.手書きの数字認識では MNIST が有名で,google もなんかやっているみたい ですし,英語版 wikipedia に一覧記事もあるようです.
一般論として実装方法や作法を一通り説明すると本一冊必要になります。
ピンポイントな本がありますので紹介しておきます。
- Rubyによるクローラー開発技法 ISBN 4797380357
- Pythonクローリング&スクレイピング ISBN 4774183679
読んだわけではないので内容は保証できません。また同テーマの本はほかにもあります。