0

Rubyのopen-uriというライブラリを使って「Google検索で、"Ruby"と検索して出てきた10件のリンク」を取得して表示する簡単なスクレイピングに挑戦しています。
取得したHTML文の表示がおかしいので何が悪いのかを知りたいです。
目標としては以下の画像の様にリンクのHTML文が出るようにしたいです。

 環境 

AWS cloud9
ruby 2.4.1p111 (2017-03-22 revision 58053) [x86_64-linux]

さぁ作ろうと思い、以下のようなコードを書いてみました。

require 'open-uri'

#URLからHTMLを取得
url = 'https://www.google.co.jp/search?q=ruby'
user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
charset = nil
html = open(url, "User-Agent" => user_agent) do |f|
  charset = f.charset
  f.read
end
#取得したHTMLを出力
puts html

ですが、ターミナルに出力されたHTML文が全く改行されてない上、CSSやJavaScriptのコードらしきものも紛れていて非常に見辛いです。それに、探しても10件のリンクだと分かるような要素が見つかりません

<a href="~~">オブジェクト指向スクリプト言語 Ruby</a>

みたいな文です。

出力結果が出たターミナル
terminal

ターミナルの上の方にもまだまだ文字がありますが、や

などHTMLらしいタグはなくfunctionなどJavaScriptのコードなのかよくわからないものが未改行で続いています。

試したこと

ターミナルだけだと取得した文字列を全て表示できないのかな?と思い、取得したHTML文をRubyのFileクラスを用いてテキストファイルにして全て目を通してみました。

File.open("test.html", "w") do |str|
  str.puts(html)
end

を追加。
全て目を通しましたが、日本語すら出てこず、相変わらず未改行で、CSSやJavaScript文がゴチャ混ぜになっています。
テキストファイル内の画像
テキストファイル

そこで、試しにこのHTML文をブラウザで表示させてみた所、日本語版のGoogleではなく何故か英語版のGoogleになっていました。
画像の説明をここに入力

とはいえ、

url = 'https://www.google.co.jp/search?q=ruby'

のコードのURL部分に"google.co.jp"が含まれているはずなので日本語が表示されないとおかしいはずなのです。
もしかして僕のGoogleアカウントの言語設定が英語になってたりするのかなと思い見てみましたがしっかり"日本語"を使用するようになってました。

もう何がなんだかわかりません...。はじめての質問ですが、Stackoverflow公式の「良い質問をするには?」を参考に書いたつもりです。ですが、分かりにくい文章だと思います。申し訳ありません。

6
  • 少々自信がないのですが、google 検索が javascript で検索結果を受け取って表示していたりしません?
    – masm
    2018年8月15日 16:27
  • 皆さん親身になって解決案を教えてくださってありがとうございます。先程「もしかしたらAWSのEC2(cloud9で使用してるコンピュータ)のリージョンがアメリカになってて、日本のGoogleにアクセスしようとしても英語版にリダイレクトされてるんじゃないか?」とビビっと思い浮かんで、東京リージョンに変えてやってみた所、日本語版Googleの検索結果が出ました! 2018年8月15日 16:40
  • ですが、相変わらず出力される文字列は未改行だらけで、CSSやJavaScriptが混在したカオスな文面でとても扱えそうにありません...。もう少し自分の力で試行錯誤してみます...汗 2018年8月15日 16:42
  • JavaScriptやCSSは最終的にブラウザが解釈できればよく、データを少しでも圧縮するため冗長な空白や改行等は削除される場合があります(最適化)。ここはこだわるべき箇所では無いのかなと思います。一見ごちゃごちゃに見えるデータも、ブラウザを通せばちゃんと読めるテキストが含まれているわけですよね?
    – cubick
    2018年8月15日 17:44
  • 確かにプレビューにするとちゃんと出ますね!出力された文字列の可読性は気にせず、puts html.scan(/<.*?>/)とするとメチャクチャ綺麗にhtmlの構造だけが出てきて見やすくなりました! あとはこれを利用して目的のスクレイピングをがんばってみます! 今回は正規表現をしっかり使いこなせれば解決できたはずなので、しっかり学んでみようと思います。ありがとうございました! 2018年8月15日 17:57

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。