0

現状

Google Search Console のカバレッジの項に、「robots.txt によりブロックされましたが、インデックスに登録しました」という警告が表示されました。

画像の説明をここに入力

当画面下部の詳細を押し遷移したページ例の項に、下記のように該当しているページのURLと思われるものが表示されていました。

https://example.com/bar/baz.php

この baz.php は、呼び出し元のphpファイルにデータを吐き出したHTMLを挿入するファイルです。
使途は、記事の概要の一覧を表示するページで「記事をもっと表示する」ボタンを押して、さらに記事の概要を表示する、という機能です。
「記事をもっと表示する」ボタンを押下時に baz.php を実行します。
下記のような内容になっています。

// 省略
white($data = mysql_fetch_array($rst)) {
  $output = '
    <li>'.$data["name"]'</li>
  '
// 省略
}

呼び出し元

<? /* 省略 */ ?>

<script>
function readmore() {
  $.get("<? echo $articleurl; ?>bar/baz.php",
    { st: st, article: <? echo $article["articleid"] ?> },
    function(article) {
      $("#articles").append(article);
    }
}
</script>

</body>

また、警告文にもありますが、robots.txt で /bar 以下のディレクトリはブロックするように記述しています。

User-agent: *
Disallow: /bar/

Sitemap : https://example.com/sitemap.xml

目標

  • https://example.com/bar/baz.php をインデックスしないようにしたい
  • Google Search Console で表示される警告「robots.txt によりブロックされましたが、インデックスに登録しました」が表示されないようにしたい

調べた解決策

ググると、noindexを追加するか、認証を導入する方法を見つけられました。

ただ、警告対象のファイルは、ページに挿入するファイルであるため、上記解決策を実施するにあたり、下記の問題点が考えられます。

  • 呼び出し元のページが noindex になる
  • headタグの外でmetaタグを書いても有効にならない可能性がある
  • headタグの外でmetaタグを書いて有効になっても、SEOに悪影響がでる可能性がある
  • 呼び出すたびに認証を求められる
  • 呼び出し元のページにアクセスした際に認証を求められる
2
  • 「phpファイルにデータを吐き出したHTMLを挿入するファイル」とありますが具体的にどのように挿入していますか?Ajaxで取得している?それてもrequire等で呼び出している?
    – keitaro_so
    Commented 2021年7月2日 1:55
  • Ajaxで呼び出しています。呼び出し元の</body>直前にjsの関数を書いて、getしています。baz.phpとrobots.txtのコードの間に細かい部分は省略した呼び出し元で実行する関数のコードを追記しました。
    – C.V.Alkan
    Commented 2021年7月2日 2:23

1 件の回答 1

1

noindexをつけたり、robotで排除するのではなく
HTMLを返さずに、JSONを返してしまってはいかがですか?

HTMLを生成しているファイルで

header("Content-Type: application/json; charset=utf-8");
echo json_encode($output);

とJSONに書き換えて出力します。

また呼び出し先では、$.getではなく$.getJSONに書き換えればJSONファイルとして取得できます。

そもそもHTMLの形式ではなくてJSON配列としてデータだけを渡してJavascriptでDOMの生成をしてもいいとは思いますが、それは改修の手間等を考えてみたほうがいいかも、呼び出し元が結構あるとコストの面で現実的ではないかもしれないです。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。