3
SyntaxErrorの行については、class_に入れたい箇所をシングルクォーテーション'で囲めば解消されます。
title = moviedetail.find(
'span', class_='"h2 ng-binding", ng-bind="$ctrl.product.Name"')
こちらは正規表現について調べてみることをおすすめします。
しかしながら、そのまま実行しても同じエラーが発生します。このmodal-contentは「もっと見る」をクリックしてから現れるものなので、moviedetailの中にはNoneが入ることになります。
BeautifulSoupは静的な構文解析ライブラリなので、...
2
残念ながら、それぞれの形式に合わせて個別に処理するようなプログラムを書きたくないということであれば、プログラムへ入力する前に手作業で形式を揃える前処理をするしか無いでしょう。
アノテーションのついていないプレーンテキストを処理する場合はこのような前処理も自分で行う必要があります。この用途だとむしろある程度のアノテーションが既に付いている HTML 版を元に処理する方がラクかもしれません。
また、質問の本題とは離れますが質問文にあるような JSON では会話を上手く表せません。同じ key が頻出してしまうでしょうし、そもそも JSON の object は順番が保証されていません(array とは異なります)。
2
User-Agent を設定すると期待通りに動作する様です。
headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100'
}
:
for i in range(1,22):
response = requests.get(url1 + str(i) + url2, headers=headers).text
:
print(df)
store_name address ...
1
自己解決しました。
環境変数TMPDIRを指定する事でその配下に作成される事を確認しました。
これにより固定パスでの除外ができました。
ありがとうございました。
1
kunif さんから頂いたコメントを参考にしたところ、問題を解消できたので回答に記載します。
以下のサイトを参考にuser-agentを調べたところheadlessモードでも実行できました!
起動オプション - Google Chrome まとめWiki
--user-agent="<ユーザーエージェント文字列>"
ユーザーエージェントを偽装して他のブラウザに見せかけます。
私の方で追加で調べて参考にさせていただいた記事
pythonでUA偽装してseleniumでブラウジング - Qiita
ここで入力するバージョンが気になったので、記事内のリンクに遷移
一番新しいchromeのバージョンが83だったのですが、ChromeDriverのバージョンを84.0.4147....
1
おそらく Google のスクレイピング対策でタグ/クラス/id等の名前が書き換えられているものと思われます。
そのため、該当するデータが見つからないことになっているのでしょう。
この辺の記事を参照してください。
Google検索結果のスクレイピングができない。
python, BeautifulSoupでgoogle検索のタイトル取得できない
PythonスクレイピングでGoogle検索画面情報取得
googleニュースのスクレイピングのやり方
例えばdef image_search(self, query_gen, maximum):の以下の部分の途中のデータにprint()を入れてみればわかるでしょう。
# search
html = self.session.get(next(query_gen))...
1
様々なWebページからスクレイピングが出来るのは、そうしたWebページがHTMLという統一した形式で書かれているからです。
書式が異なるテキストを、統一した書式に変換するのですから、個々の書式に合わせてプログラミングするしかありません。
シェークスピア(ハムレット)は戯曲で、劇中人物(Dramatis Personæ)も書かれているようですから、モンゴメリー(赤毛のアン、アンの友達)のものより扱い易そうに思えます。
まずは、ハムレットから取り掛かっては如何ですか?
英文テキストの自然言語処理(品詞判断、タグ付け、意味理解)を行うプログラムをお持ちなら、違ったアプローチもあるかと思います。
1
「文字化けがおこる」というのは何をもって判断していますか?
ファイル作成処理でのエンコーディング指定はutf8になっています。
const csvWriter = createObjectCsvWriter({
<<途中省略>>
encoding:'utf8',
append :false,
});
例えば出来たcsvファイルをテキストエディタ等で見ている場合は、ファイルオープン時のエンコーディングをutf-8に指定すれば良いでしょう。
Excel等でオープンしている場合は、ファイル作成時にファイルの先頭にutf-8のBOMを書いておく必要があるでしょう。
こんな記事を参考に。
BOMやBlobを理解してJavaScriptでCSVを出力する
1
何の意味があるのかは分かりませんが、途中に指定している.get('-1')の時点でNoneが返ってくるため、その後の.get('imageinfo')でエラーになっているようです。
data.get('query')だけした結果を見ると以下のようになっているので、ここで別の値を指定する必要があるでしょう。
国章の場合:
{'pages': {'-1': {'ns': 6, 'title': 'File:Royal Coat of Arms of the United Kingdom.svg', 'missing': '', 'known': '', 'imagerepository': 'shared', 'imageinfo': [{'url': 'https://upload.wikimedia....
1
「日本酒の銘柄一覧」のソースコード(HTML)を眺めてみましたが、あまり構造化されていません。とりあえずは必要なタグを全て抽出してインスタンス(SakeItem class)を作成します。
def parse(self, response):
"""
レスポンスに対するパース処理
"""
item, items = None, []
for post in response.css('h3 .mw-headline, h3~div p, h3~p, ul, #脚注'):
prefecture = post.css('span.mw-headline::text').get(default=False)
maker = post.css('p ::text').getall()...
1
ターゲットのワーカー上で globalThis.WebSocket = MyWebSocket; のようなコードを実行すれば可能です。
ワーカーで動かすコードを修正できない場合は不可能だと思います。
1
この問題は 403 のアクセス拒否が原因でした。
この投稿は @wataru さんのコメント の内容を元に コミュニティwiki として投稿しました。
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります
関連するタグ
web-scraping × 99python × 61
python3 × 28
beautifulsoup × 19
selenium × 12
javascript × 5
php × 5
ruby × 5
node.js × 5
csv × 5
html × 4
chromedriver × 4
pandas × 3
google-chrome × 3
google-colaboratory × 3
xpath × 3
python-requests × 3
phantomjs × 3
r × 2
json × 2
laravel × 2
firebase × 2
selenium-webdriver × 2
puppeteer × 2
mechanize × 2