すべての質問
5 件の質問
1
票
1
回答
282
閲覧数
画面遷移を伴うスクレイピングで取得したデータをCSVファイルに出力したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
以前、スクレイピングについて質問させていただき、取得したデータをDBに保存することができたのですが、スクレイピング先のサイトの変更があったため、...
1
票
3
回答
488
閲覧数
スクレイピングでhref属性値の一部の値を取得したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
解決したいこと
下記のhref属性値から緯度、経度の値を取得したいです(34.907757が緯度で134.859368が経度です)
<a target=&...
0
票
1
回答
144
閲覧数
取得したいデータが存在しない場合でもループ処理を止めずに次のループに移行する方法が知りたい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
エラー内容
スクレイピングで取得したデータを繰り返し処理でDBに保存している途中、下記のエラーでループが中断、、
NoMethodError: undefined ...
1
票
1
回答
256
閲覧数
同名クラスをもつ複数のaタグを順番に繰り返し処理し、必要なデータをDBに保存したい
環境
ruby 2.7.2
rails 6.1
macOS
前提
ポートフォリオ作成のため、現在自作アプリを実装しております。
その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。
解決したいこと
<a class="flower-spot"内のhref属性の値を取得し、その値をもとにlink_urlを作成して遷移を行い、...
0
票
1
回答
578
閲覧数
docker環境におけるseleniumを使ったスクレイピングについて
現在、docker環境でrailsを使って勉強中です。
seleniumでスクレイピングをして遊んでいます。
ローカルでは問題なく動いていたのですが、dockerizeした途端エラーが出ました。
やりたいこと
ヘッドレス(画面を隠した状態?)ではなくスクレイピングをする対象のページを画面に表示して動きを見える形にしたい。
理由:スクレイピングをする対象のページを開いた後に「パスワード」や「...