3

googleplayの以下のサイトのhtmlをpythonで取得したところ、アプリのランキングが60位までしかのっていないものでした。

https://play.google.com/store/apps/collection/topselling_free?hl=ja
でソースコードを表示すると同じく60位までしか表示されません。

調べたところ、Javascriptか何かでレンダリングされているとのことだったのですが、どのようにしたら60以降のアプリの情報ものったhtmlが取得できるか知りたいです。

htmlを取得したい理由は個々のアプリの詳細ページへのリンクを取得したいからです。
個々のアプリの詳細ページのリンクさえ取得できれば、手段は問いません。

seleniumなどを利用することも考えましたが、ド素人なのでうまい対策が分かりませんでした。

回答の程、よろしくお願い致します。

3
  • また、解決した場合は「解決済み」にしていただければ、お礼もいらないです。そういうシステムが出来あがっているサイトなので利用してみて下さい。
    – mjy
    Commented 2016年3月22日 9:02
  • すみません。「解決済み」にしたいのですが、方法が分かりません。
    – tぐち
    Commented 2016年3月22日 18:27
  • ja.stackoverflow.com/help/someone-answers ここらへんを参考に回答を承認して下さい。回答で得られた情報以外で解決した場合は、自分で回答を書きそれを承認する事も推奨されています。
    – mjy
    Commented 2016年3月23日 2:18

1 件の回答 1

2

例えば、このようなURLでアクセスすると
https://play.google.com/store/apps/collection/topselling_free?hl=ja&start=60&num=30
60位から90位が取得出来ます。

こういったリクエストのパラメータを探すには、Webブラウザのデベロッパーツールなどで該当ページの挙動を観察すればよいです。
しかし、これからは多くのWebページが「Webアプリケーション」化していくので、難易度は上っていくでしょう。
やはり、seleniumやPhantomJSなどのようにブラウザをまるごと内蔵(操作)しているクライアントでクロールするのが楽だと思います。


追記:

ソースコードのどこをみればよいか

ですが、Webアプリケーションのソースをただ読んで追っていくのは普通の人には厳しいと思います。既にそういう時代です。
挙動を観察するのが基本かと思います。

下にスクロールすると続きが読み込まれる「無限スクロール」の場合、観察するのは
- スクロールイベント周辺
- ネットワークのリクエスト
のどちらかです。

このページに関していうと、下までスクロールした際にXHR(XMLHttpRequests)による
https://play.google.com/store/apps/collection/topselling_free?hl=ja&authuser=0 に対するPOST要求が観察出来ます。
POSTデータはこんな感じです。

start=60
num=60
numChildren=0
cctcss=square-cover
cllayout=NORMAL
ipf=1
xhr=1
token= ...
hl=ja

この中から必要な物を使う事になります。今回はstartとnumだけでよかったです。試してみるとGETも受け付けたので、上記URLが作れたわけです。
観察にはFirefoxの開発ツールを使いました。

3
  • 回答ありがとうございます。 なるほどパラメータを指定すればいいんですね! ちなみに、これはソースコードのどこをみればよいか教えて頂けないでしょうか。 お願いいたします。
    – tぐち
    Commented 2016年3月22日 4:40
  • ざっとですがパラメータの探し方を追記しておきました。
    – mjy
    Commented 2016年3月22日 7:43
  • なるほどです。 非常に勉強になりました。 また、機会がありましたら、よろしくお願いします。 ありがとうございました。
    – tぐち
    Commented 2016年3月22日 8:52

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。