2
票
「パスワードを入力しダウンロード」を自動化
よく引っかかるのは次の2パターンではないでしょうか。
javascriptが有効でないと利用できない
ブラウザのjavascriptを無効にして確認することが出来ます。
mechanizeはjavascriptが解釈できないはずなので、javascriptが解釈できるツールを使うか、自力でjavascriptの動作をエミュレーションする必要があります。
...
- 1.2万
2
票
pythonのmechanizeで応答がない
株価情報ですので定期的にrefreshがかかることが原因かと思います。
Refreshヘッダを無効化するため、set_handle_refresh(False)を指定してください。
応答が返ることを確認しました。
import mechanize
b = mechanize.Browser()
b.set_handle_robots(False)
b.set_handle_refresh(...
- 2,124
2
票
Accepted
「パスワードを入力しダウンロード」を自動化
.submit()はファイル内容やヘッダをurllib2.urlopen()のようにオブジェクトで返します。
中身さえ得られれば良いのならば、関数の最後を
return br.submit().read()
などとすれば良いかと思います。
ファイル名が必要であればヘッダのContent-Dispositionをパースする必要がありますが、それにcgi....
- 286
1
票
rubyでスクレイピングをしたいが、mechanizeがrequireできない
gem list コマンドでインストール済みの gem 一覧を得て、mechanize があるか確認してください。macOS / Unix / Linux 環境では gem list | grep mechanize で見やすい出力が得られます。rbenv を使っていらっしゃるようなので、念の為確認してみてください。
- 2.3万
1
票
Accepted
railsのMechanizeでのスクレイピングについて
#!/usr/bin/env ruby
require 'mechanize'
agent = Mechanize.new
page = agent.get( 'http://localhost:8000/test.html' )
page.search( 'table.profile tr' ).each do |tr|
p tr.at( 'td.title' ).inner_html
...
- 782
1
票
「パスワードを入力しダウンロード」を自動化
おそらく他の方も書かれている通り、クッキー・隠しフォーム・リファラあたりが必須なのでしょう。
追記: TugrebIcさんの回答で気付きましたが、mechanizeはここらへんを自動でやってくれるはずでしたね。動かない理由は、TugrebIcさんの回答の通りだと思います。
下記は Python3 の例ですが、いずれスクレイピングも JavaScript の解釈なしでは厳しくなるかと思っています。...
- 1.1万
Only top scored, non community-wiki answers of a minimum length are eligible