0

https://live.line.me/channels/36186

上記の配信一覧ページから、各配信のURLが格納されている a href要素の中身を取得したい。
画像の説明をここに入力

Google Chromeでソースコードを開き"Copy Xpath"したところ、以下のパスが取得できた。

/html/body/div[3]/div/div[2]/div[1]/div/ul/li/div/div/a

コレを基に以下のプログラムを実行したが、空が返ってくるだけで要素の中身が取得できない。

source = open("https://live.line.me/channels/36186").read
doc = Nokogiri::HTML.parse(source)

doc.xpath("/html/body/div[3]/div/div[2]/div[1]/div/ul/li/div/div/a")

次に以下にコードを変えてを実行すると、

doc.xpath("/html/body/div[3]/div/div[2]/div[1]/div/ul/li/div/div/a").attribute("href")

このようなエラーが出た。

node_set.rb:164:in `attr': undefined method `attribute' for nil:NilClass (NoMethodError)

2 件の回答 2

1

https://live.line.me/channels/36186

上の配信一覧ページのソースを確認したところ、DOMはJavaScriptによって動的に生成されているので、Nokogiriから /html/body/div[3]/div/div[2]/div[1]/div/ul/li/div/div/a のようなDOMにアクセスすることはできません。

代わりに、<div id="data" data-channel="ここの部分"> に配信一覧の情報が載っているので、これをパースします。

require 'open-uri'
require 'nokogiri'
require 'json'
require 'pp'

source = open("https://live.line.me/channels/36186").read
doc = Nokogiri::HTML.parse(source)

data_text = doc.xpath("//div[@id='data']").attribute("data-channel").value
data      = JSON.parse(data_text)

# pp data  # 配信一覧の情報の情報

p data["liveBroadcasts"]["rows"][0]["shareURL"]
0

Makoさんの回答をヒントに「JavaScriptで生成されているならJavaScriptが解釈できればいい」という考えから、Capybara+Poltergeistを使ってみました。動作は遅いです。

Gemfile

source 'https://rubygems.org'
gem 'poltergeist'

テストコード

require 'capybara/poltergeist'

session = Capybara::Session.new(:poltergeist)
session.visit 'https://live.line.me/channels/36186'
source = session.body
doc = Nokogiri::HTML.parse(source)
a = doc.xpath('/html/body/div[3]/div/div[2]/div[1]/div/ul/li/div/div/a')
p a.attribute('href')

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。