4
票
承認済み
CSSセレクタでネームスペースを含むタグを選択する方法
CSSセレクターでのXML namespaceは|で表現します。 Selectors Level 3 / 6.1.1. Type selectors and namespaces
doc.at_css('#AsOf2016-09-30 > xbrli|period > xbrli|instant')
でどうでしょうか?
2
票
承認済み
Nokogiriのエラーについて
Nokogiri was built against LibXML version 2.9.7, but has dynamically loaded 2.9.4
を訳すと
起動した Nokogiri は バージョン 2.9.7 の LibXMLライブラリを使うように作られていますが、バージョン 2.9.4のLibXMLが読み込まれました。(「...
1
票
承認済み
画面遷移を伴うスクレイピングで取得したデータをCSVファイルに出力したい
コメントに書いた通り、url 変数の上書きが原因かと思います。
以下は本題からは離れた話になります。
データが取得できずnilになる場合があるため、nextを使用して次のループに移行するよう記述した次第です。
この部分の判定処理に関しては Ruby 2.3.0 で導入された Safe navigation operator を使うと簡潔に記述できます。
例えば以下の処理では ...
1
票
承認済み
取得したいデータが存在しない場合でもループ処理を止めずに次のループに移行する方法が知りたい
事前にnilかどうかチェックして、nilならnextする・・・という対応はいかがでしょうか?
doc.css('.main-left-layout').each do | node |
sleep 1
# データが取得できなかった場合は次のループに行く
if node.at_css('.block') == nil \
|| node.css('.spot-info &...
1
票
承認済み
同名クラスをもつ複数のaタグを順番に繰り返し処理し、必要なデータをDBに保存したい
冗長というのは、次の行の
href = doc.css('.flower-spot')[0]["href"]
[0] の部分が 0, 1, 2 と異なるだけで、他はまったく同じ処理が3回繰り返されているということだと思います。
times を使うと、
3.times do |i|
# i の値が 0, 1, 2 と変化して繰り返す
end
のように書けるので、...
1
票
承認済み
Nokogiriを使ってa href要素の中身を取得したい
https://live.line.me/channels/36186
上の配信一覧ページのソースを確認したところ、DOMはJavaScriptによって動的に生成されているので、Nokogiriから /html/body/div[3]/div/div[2]/div[1]/div/ul/li/div/div/a のようなDOMにアクセスすることはできません。
代わりに、<div id="...
1
票
Nokogiriのgemがインストールできない
おそらく $ sudo gem install xxx を実行してしまい、/Users/アカウント名/.rbenv配下にアクセスできなくなったのではないでしょうか?
以下のサイトに解決方法?かどうかはわかりませんが、対処方法が記載されています。
https://github.com/rbenv/rbenv/issues/930
$ sudo chown -R YOURUSER:staff /...
無効化に投票
関連するタグ
nokogiri × 10ruby × 8
ruby-on-rails × 4
web-scraping × 3
css × 1
csv × 1
rubygems × 1
xpath × 1