Search type | Search syntax |
---|---|
タグ | [タグ] |
完全一致 | "ここの単語" |
作成者 |
user:1234 user:me (あなたの) |
スコア |
score:3 (3+) score:0 (なし) |
回答 |
answers:3 (3+) answers:0 (なし) isaccepted:yes hasaccepted:no inquestion:1234 |
閲覧数 | views:250 |
コード | code:"if (foo != bar)" |
セクション |
title:リンゴ body:"リンゴ オレンジ" |
URL | url:"*.example.com" |
セーブ | in:saves |
状態 |
closed:yes duplicate:no migrated:no wiki:no |
種類 |
is:question is:answer |
除外 |
-[タグ] -リンゴ |
高度な検索の詳細については、ヘルプ ページをご覧ください。 |
0
票
scheduleで実行時間を自動化し、スクレイピング
get_all_reviews() の定義で引数を取るようにしているので、
def get_all_reviews(url):
~~~
呼び出す際には URL の指定が必要なのではないでしょうか?
schedule.every(1).minutes.do(get_all_reviews("https://graph.facebook.com/xxx" …
1
票
webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください
仮に純粋なアクセス数 = 広告の表示回数をカウントするのであれば、機械的にアクセスを繰り返さずとも一つのページに100回広告を呼び出すような事も理論的には可能でしょう。
しかし、お金を出す側から考えると、"同一のアクセス元" かどうかはIPアドレスやブラウザの Cookie などを使って総合的に判断していると思われます。
0
票
青空文庫(https://www.aozora.gr.jp)における全作品のテキストデータと初版発行年の取得
GitHubのリポジトリで公開されているデータは、青空文庫ホームページのミラーなので、単にデータを抽出する目的だけを考えればどちらを元にしても同じかと思います。
ただし「全データ」を対象に取得を考えているなら、GitHubリポジトリからの取得を考えるべきです。
数件程度のピンポイントであればホームページに対してのスクレイピングでも構わないのかもしれませんが、全データを対象にリクエストを送ると相手 …
1
票
"NameError: name 'url' is not defined" の解決方法を教えてください
エラーそのものはメッセージとして表示されている通り "url が定義されていない" のが原因なので、スクレイピング対象の URL を事前に定義するだけだと思います。
url = "https://amazon.co.jp/XXX/XXX/" # <- 追加
html = get_page_from_amazon(url)
エラーメッセージが英語の場合、まずは翻訳してみることをお勧めします。
機 …
1
票
スクレイプ結果の出力
アクセス先URLのhttp://b.hatena.ne.jp/search/text?safe=on&q=Python&users=50をブラウザで開いてソースを確認してみてください。
指定したCSSセレクタの.pager-nextが見つからなければそこで処理を終了するようなプログラムになっているので、書いた通りにプログラムが動いているに過ぎません。
ちなみに、pager-nextで検索すると以 …
1
票
承認済み
ログイン画面のレイアウトが頻繁に変わる場合の自動ログインの方法
恐らくレイアウトが頻繁に変わるのはスクレイピング対策と思われます。
スクレイピングではなく API の利用をまずは検討すべきだと思います。
少し古い記事ですが、こちらも参照してください。
https://about.fb.com/ja/news/2021/04/how-we-combat-scraping/
1
票
pythonのbf4でスクレイピング中にエラーが出る
この問題は 403 のアクセス拒否が原因でした。
この投稿は @wataru さんのコメント の内容を元に コミュニティwiki として投稿しました。
2
票
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
出力したCSVを後で読み込む時のことを考えると、基本的には suzukis さんが回答している通りクォートされたままの方が扱いやすいのだと思いますが、csv モジュールの定義を見るとパラメータで任意のクォート文字列に変更したり、クォートの挙動を変えることも可能なようです。
CSV ファイルの読み書き - Python ドキュメント
import csv
with open('eggs.c …