0

現在、BeautifulSoupw用いてスクライブを行っています。
あるサイトではHTMLでのリンクとPDFでのリンクが同ページにあるのですが、PDFのリンクだけを取得したいです。
下記のコードだとPDF,HTMLのリンクが混じったものがprintで出てきてしまいます。
htmlのリンクを除外する方法をお教示お願いできればと思い質問させていただきました。

for a_tag in soup.find_all('a'):
    link_pdf = (urljoin(cur_url, a_tag.get('href')))
    #行の始めがjavaを除外
    if link_pdf.startswith('javascript'):
        continue
    #行の終わりがpdf、/を除外
    if link_pdf.endswith('pdf'):
        continue
    if link_pdf.endswith('/'):
        continue
    #行内にpdfがあるか
    #if link_pdf.find('pdf'):
        #continue
    print(link_pdf)
2

1 件の回答 1

0

PDFのリンクだけを取得したいです。

PDFのURLが必ず"/ResultDataSetPDF/"を含むのであれば、
以下のように含まないものを除外すれば良いと思います。
(URLの拡張子も確認するように修正しました。)

for a_tag in soup.find_all('a'):
    link = (urljoin(cur_url, a_tag.get('href')))

    # pdfの拡張を持たず、かつ、linkにPDFディレクトリの指定がなければ除外
    if (not link.lower().endswith(".pdf")) and ("/ResultDataSetPDF/" not in link):
        continue

    print(link)
4
  • 回答ありがとうございます。正常に動作し、pdfのみを出力することができました。また "/ResultDataSetPDF/" に加え、例えば末字がpdfの物も抽出するとなった場合、条件追加などはできますでしょうか? Commented 2018年7月20日 8:16
  • @西木野有栖 さん URLの拡張子も確認するように修正しました。ご確認ください。
    – user28902
    Commented 2018年7月20日 8:36
  • @tanalab2さん ありがとうございます・・!確認致しました。どちらも正常に出力されました。助かりました・・ありがとうございます Commented 2018年7月20日 8:48
  • @西木野有栖 さん お疲れ様でした。回答を承認(チェックを付ける?)して、回答をクローズしておいてください。
    – user28902
    Commented 2018年7月20日 9:01

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。