Skip to main content
Search type Search syntax
タグ [タグ]
完全一致 "ここの単語"
作成者 user:1234
user:me (あなたの)
スコア score:3 (3+)
score:0 (なし)
回答 answers:3 (3+)
answers:0 (なし)
isaccepted:yes
hasaccepted:no
inquestion:1234
閲覧数 views:250
コード code:"if (foo != bar)"
セクション title:リンゴ
body:"リンゴ オレンジ"
URL url:"*.example.com"
セーブ in:saves
状態 closed:yes
duplicate:no
migrated:no
wiki:no
種類 is:question
is:answer
除外 -[タグ]
-リンゴ
高度な検索の詳細については、ヘルプ ページをご覧ください
でタグ付けされた検索結果
検索オプション answers only not deleted user 3060

ウェブスクレイピングとは、ウェブサイトから特定の情報を自動的に抽出する技術のことです。

0

scheduleで実行時間を自動化し、スクレイピング

get_all_reviews() の定義で引数を取るようにしているので、 def get_all_reviews(url): ~~~ 呼び出す際には URL の指定が必要なのではないでしょうか? schedule.every(1).minutes.do(get_all_reviews("https://graph.facebook.com/xxx" …
cubick's user avatar
  • 2.1万
1

webサイトの広告による収益の仕組みとその悪用のリスクについて教えてください

仮に純粋なアクセス数 = 広告の表示回数をカウントするのであれば、機械的にアクセスを繰り返さずとも一つのページに100回広告を呼び出すような事も理論的には可能でしょう。 しかし、お金を出す側から考えると、"同一のアクセス元" かどうかはIPアドレスやブラウザの Cookie などを使って総合的に判断していると思われます。
cubick's user avatar
  • 2.1万
0

青空文庫(https://www.aozora.gr.jp)における全作品のテキストデータと初版発行年の取得

GitHubのリポジトリで公開されているデータは、青空文庫ホームページのミラーなので、単にデータを抽出する目的だけを考えればどちらを元にしても同じかと思います。 ただし「全データ」を対象に取得を考えているなら、GitHubリポジトリからの取得を考えるべきです。 数件程度のピンポイントであればホームページに対してのスクレイピングでも構わないのかもしれませんが、全データを対象にリクエストを送ると相手 …
cubick's user avatar
  • 2.1万
1

"NameError: name 'url' is not defined" の解決方法を教えてください

エラーそのものはメッセージとして表示されている通り "url が定義されていない" のが原因なので、スクレイピング対象の URL を事前に定義するだけだと思います。 url = "https://amazon.co.jp/XXX/XXX/" # <- 追加 html = get_page_from_amazon(url) エラーメッセージが英語の場合、まずは翻訳してみることをお勧めします。 機 …
cubick's user avatar
  • 2.1万
1

スクレイプ結果の出力

アクセス先URLのhttp://b.hatena.ne.jp/search/text?safe=on&q=Python&users=50をブラウザで開いてソースを確認してみてください。 指定したCSSセレクタの.pager-nextが見つからなければそこで処理を終了するようなプログラムになっているので、書いた通りにプログラムが動いているに過ぎません。 ちなみに、pager-nextで検索すると以 …
cubick's user avatar
  • 2.1万
1
承認済み

ログイン画面のレイアウトが頻繁に変わる場合の自動ログインの方法

恐らくレイアウトが頻繁に変わるのはスクレイピング対策と思われます。 スクレイピングではなく API の利用をまずは検討すべきだと思います。 少し古い記事ですが、こちらも参照してください。 https://about.fb.com/ja/news/2021/04/how-we-combat-scraping/
cubick's user avatar
  • 2.1万
1

pythonのbf4でスクレイピング中にエラーが出る

この問題は 403 のアクセス拒否が原因でした。 この投稿は @wataru さんのコメント の内容を元に コミュニティwiki として投稿しました。
2

スクレイピングしたものをcsvに書き出すと余計な " が属性につく。

出力したCSVを後で読み込む時のことを考えると、基本的には suzukis さんが回答している通りクォートされたままの方が扱いやすいのだと思いますが、csv モジュールの定義を見るとパラメータで任意のクォート文字列に変更したり、クォートの挙動を変えることも可能なようです。 CSV ファイルの読み書き - Python ドキュメント import csv with open('eggs.c …
cubick's user avatar
  • 2.1万