1

PinterestというwebサイトにPythonを使用しログインまでできたのですが、セッションが上手く保たれていないのか。実行したいことまで上手く行きません。

やりたいこと
https://www.pinterest.jp/r/pin/554505772869102844/4995915543595742901/ab9290928e62760b540f32156fb9686925897abcbda51275fe2866dd3442d330
このURLにアクセスするとリダイレクトされて下記のURLに飛びます。
https://www.behance.net/gallery/67141435/X-O-Highlight-Messenger
このURLをrequestsの.urlで取得したいのですが、Pinterestにログインなしでアクセスするとリダイレクトされない仕様になっています。

なので下記のコードでログインまで行きました。

import requests


ua = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'

headers = {'User-Agent': ua}


payload = {'username_or_email':'xxxxx@mail.com', 'password':'xxxxxxxxx'}
login_url = 'https://accounts.pinterest.com/v3/login/handshake/'

def login(login_url, payload):
    s = requests.Session()
    p = s.post(login_url, data=payload)
    r = s.get('https://www.pinterest.jp/r/pin/554505772869102844/4995915543595742901/ab9290928e62760b540f32156fb9686925897abcbda51275fe2866dd3442d330')
    print(p.status_code)
    print(r.url)

login(login_url, payload)

status_codeは200とログインはできているようです。

助けて頂きたい事
 ここで問題にはまっています。一度、ブラウザ側でアクセスした後このプログラムを実行すると上手くリダイレクト先のURLを取得できます。
 しかし、しばらく時間を置くとプログラムからログインはできてもリダイレクトされません。
毎回、ブラウザでログイン後にプログラムを走らせるのは手間が掛かるのでプログラムのみで動作させたいです。

最後に
cookieを付与して(返ってきたcookieをそのまま返す?)アクセスしてみたり、色々やってみましたがもうわかりません。
ブラウザに保存される何かをサーバに送り返してセッションか何かを保った状態をキープしないといけないと考えているのですが、何かわかりません。デベロッパーツールのNetworkを見たりして見たのですが、どこに注目してよいのか分かりません。
なので質問させて頂きます。
seleniumはできる限り使用したくないです。
贅沢いって申し訳ありません。
ご教授お願いします。

5
  • 手元で実行してみたところ、ランダム?にリダイレクトされている印象です。(ブラウザでの挙動は関係なさそうです)
    – PicoSushi
    2019年3月23日 5:16
  • というと何度も繰り返せばリダイレクトできるという事でしょうか?ごめんなさい知識不足です。
    – wataru
    2019年3月23日 5:19
  • 先程、試しにloginの最後でreturn r.url == 対象URL して result = [login(login_url, payload) for _ in range(100)]; print(result.count(True)) としてみたところ、20回の試行中15回リダイレクトされていました。また、リダイレクトされている場合は404が返っているようです。
    – PicoSushi
    2019年3月23日 5:21
  • この辺りはPinterestの仕様次第なので、なんともいえないです。 / ところで、Pinterest APIを利用するというのはいかがでしょうか? Pinterest Developers
    – PicoSushi
    2019年3月23日 5:22
  • 20回関数をfor文で試したところ確かに2回だけリダイレクトされました。ただstatusコードはどれも200です。このURLがAPIを使用して取得したものでそこからリダイレクト先のURLが欲しくこのような事をしています。
    – wataru
    2019年3月23日 5:29

1 件の回答 1

0

だいぶ愚直な手段になりますが、ログインした後にリダイレクトが発生するまで取得し続けるというのはいかがでしょうか。

from time import sleep
import requests

target_url = 'https://www.pinterest.jp/r/pin/554505772869102844/4995915543595742901/ab9290928e62760b540f32156fb9686925897abcbda51275fe2866dd3442d330'


def login():
    with requests.Session() as s:
        r = requests.get(target_url)
        while r.url == target_url:
            print(".", end="")
            sleep(0.5)
            r = requests.get(target_url)
    return r.url


def main():
    print(login())


if __name__ == '__main__':
    main()
9
  • それしかないですよね。コードありがとうございます。私の環境だと成功率が低く全然アクセスできません。なぜブラウザですっと上手く行くのにプログラムだとこうも上手くいかないのでしょう。困りました。
    – wataru
    2019年3月23日 5:59
  • やはりseleniumを使用するしかなさそうです。
    – wataru
    2019年3月23日 6:00
  • 残念です。ちなみに、こちらの環境ではログイン処理は不要でした( payloadlogin_url なしでリダイレクト先の取得ができました)。
    – PicoSushi
    2019年3月23日 6:31
  • そうだったんですね。ログインしていないブラウザでアクセスすると404が返されるので、てっきりログイン必須だと考えていました。もう少しrequestsで考えてみます!
    – wataru
    2019年3月23日 7:26
  • ログインしてないブラウザだとアクセスできない気がします。プログラムからログイン不要での成功率はどれぐらいでしょうか?
    – wataru
    2019年3月23日 7:28

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。