Skip to main content

すべての質問

でタグ付けされた
絞り込み
並べ替え
タグ付けされた
1
1 回答
282 閲覧数

画面遷移を伴うスクレイピングで取得したデータをCSVファイルに出力したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 以前、スクレイピングについて質問させていただき、取得したデータをDBに保存することができたのですが、スクレイピング先のサイトの変更があったため、...
taddy's user avatar
  • 73
1
3 回答
488 閲覧数

スクレイピングでhref属性値の一部の値を取得したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 解決したいこと 下記のhref属性値から緯度、経度の値を取得したいです(34.907757が緯度で134.859368が経度です) <a target=&...
taddy's user avatar
  • 73
0
1 回答
144 閲覧数

取得したいデータが存在しない場合でもループ処理を止めずに次のループに移行する方法が知りたい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 エラー内容 スクレイピングで取得したデータを繰り返し処理でDBに保存している途中、下記のエラーでループが中断、、 NoMethodError: undefined ...
taddy's user avatar
  • 73
1
1 回答
256 閲覧数

同名クラスをもつ複数のaタグを順番に繰り返し処理し、必要なデータをDBに保存したい

環境 ruby 2.7.2 rails 6.1 macOS 前提 ポートフォリオ作成のため、現在自作アプリを実装しております。 その中で、DBに必要なデータを保存するため、Rubyのnokogiriでスクレイピングを行なっています。 解決したいこと <a class="flower-spot"内のhref属性の値を取得し、その値をもとにlink_urlを作成して遷移を行い、...
taddy's user avatar
  • 73
0
1 回答
578 閲覧数

docker環境におけるseleniumを使ったスクレイピングについて

現在、docker環境でrailsを使って勉強中です。 seleniumでスクレイピングをして遊んでいます。 ローカルでは問題なく動いていたのですが、dockerizeした途端エラーが出ました。 やりたいこと ヘッドレス(画面を隠した状態?)ではなくスクレイピングをする対象のページを画面に表示して動きを見える形にしたい。 理由:スクレイピングをする対象のページを開いた後に「パスワード」や「...
WESumoto's user avatar