次のタグが付いている話題の回答:

2

「パスワードを入力しダウンロード」を自動化

よく引っかかるのは次の2パターンではないでしょうか。 javascriptが有効でないと利用できない ブラウザのjavascriptを無効にして確認することが出来ます。 mechanizeはjavascriptが解釈できないはずなので、javascriptが解釈できるツールを使うか、自力でjavascriptの動作をエミュレーションする必要があります。 ...
  • 1.2万
2

pythonのmechanizeで応答がない

株価情報ですので定期的にrefreshがかかることが原因かと思います。 Refreshヘッダを無効化するため、set_handle_refresh(False)を指定してください。 応答が返ることを確認しました。 import mechanize b = mechanize.Browser() b.set_handle_robots(False) b.set_handle_refresh(...
  • 2,124
2
Accepted

「パスワードを入力しダウンロード」を自動化

.submit()はファイル内容やヘッダをurllib2.urlopen()のようにオブジェクトで返します。 中身さえ得られれば良いのならば、関数の最後を return br.submit().read() などとすれば良いかと思います。 ファイル名が必要であればヘッダのContent-Dispositionをパースする必要がありますが、それにcgi....
  • 286
1

rubyでスクレイピングをしたいが、mechanizeがrequireできない

gem list コマンドでインストール済みの gem 一覧を得て、mechanize があるか確認してください。macOS / Unix / Linux 環境では gem list | grep mechanize で見やすい出力が得られます。rbenv を使っていらっしゃるようなので、念の為確認してみてください。
  • 2.3万
1
Accepted

railsのMechanizeでのスクレイピングについて

#!/usr/bin/env ruby require 'mechanize' agent = Mechanize.new page = agent.get( 'http://localhost:8000/test.html' ) page.search( 'table.profile tr' ).each do |tr| p tr.at( 'td.title' ).inner_html ...
  • 782
1

「パスワードを入力しダウンロード」を自動化

おそらく他の方も書かれている通り、クッキー・隠しフォーム・リファラあたりが必須なのでしょう。 追記: TugrebIcさんの回答で気付きましたが、mechanizeはここらへんを自動でやってくれるはずでしたね。動かない理由は、TugrebIcさんの回答の通りだと思います。 下記は Python3 の例ですが、いずれスクレイピングも JavaScript の解釈なしでは厳しくなるかと思っています。...
  • 1.1万

Only top scored, non community-wiki answers of a minimum length are eligible