2
よく引っかかるのは次の2パターンではないでしょうか。
javascriptが有効でないと利用できない
ブラウザのjavascriptを無効にして確認することが出来ます。
mechanizeはjavascriptが解釈できないはずなので、javascriptが解釈できるツールを使うか、自力でjavascriptの動作をエミュレーションする必要があります。
埋め込みのjavascriptソースで確認できる簡単な処理であれば自力で処理した方が早いかもしれません。ただし、相手側でそこを変更されるとそれに追随しなければなりません。
送信する内容が不足または相違している
コメントでも指摘がありますが、ブラウザで表示される入力欄だけでなく、...
2
株価情報ですので定期的にrefreshがかかることが原因かと思います。
Refreshヘッダを無効化するため、set_handle_refresh(False)を指定してください。
応答が返ることを確認しました。
import mechanize
b = mechanize.Browser()
b.set_handle_robots(False)
b.set_handle_refresh(False)
h = b.open('http://stocks.finance.yahoo.co.jp/stocks/detail/?code=2726')
細かいですが、pythonは;は不要です。
あってもエラーにはなりませんが・・・
2
.submit()はファイル内容やヘッダをurllib2.urlopen()のようにオブジェクトで返します。
中身さえ得られれば良いのならば、関数の最後を
return br.submit().read()
などとすれば良いかと思います。
ファイル名が必要であればヘッダのContent-Dispositionをパースする必要がありますが、それにcgi.parse_headerが使えるようです。
r = br.submit()
return (cgi.parse_header(r.info().getheader("content-disposition"))[1]["filename"], r.read())
ファイルサイズが小さければこんな所でしょうか。
https://...
1
#!/usr/bin/env ruby
require 'mechanize'
agent = Mechanize.new
page = agent.get( 'http://localhost:8000/test.html' )
page.search( 'table.profile tr' ).each do |tr|
p tr.at( 'td.title' ).inner_html
p tr.at( 'td.content' ).inner_html
end
こんな感じで個々を取得できると思いますが、どうでしょう?
1
おそらく他の方も書かれている通り、クッキー・隠しフォーム・リファラあたりが必須なのでしょう。
追記: TugrebIcさんの回答で気付きましたが、mechanizeはここらへんを自動でやってくれるはずでしたね。動かない理由は、TugrebIcさんの回答の通りだと思います。
下記は Python3 の例ですが、いずれスクレイピングも JavaScript の解釈なしでは厳しくなるかと思っています。PhantomJS などを使う方がよいかもしれません。
#!/usr/bin/python3
import urllib.request
import http.cookiejar
import re
import sys
url = "https://kie.nu/22W5"
# クッキーを扱う
...
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります