python3でBeautifulSoupを使い、webスクレイピングしたいのですが、
urllib.error.HTTPError: HTTP Error 403: Forbidden
と言うエラーが出てしまいます。
これはスクレイパーによるアクセスがサイト側に拒否されているということでしょうか?
このエラーが出るということはこのサイトではスクレイピングできないということでしょうか?回避する方法はありますか?
以下がコードです。
def RichestSchool():
"""get 100 richest school names """
html = urlopen("http://www.thebestschools.org/features/richest-universities-endowments-generosity-research/")
bsObj = BeautifulSoup(html, "lxml")
for rich in bsObj.findAll("a", {"target":"_blank"}):
riches = rich.get_text()
print(riches)
urlopen
を実行する際のリクエストヘッダにUser-Agent
を指定してみてはどうでしょうか。