みなさんこんにちは！
筋肉カメレオンです。
突然ですが、Wordpressは好きですか？私は大好きです。
でもですよ。一つ許せない機能があるのです。
諸悪の根源
WordPress管理画面の「設定 -> 表示設定」を開くと表示される項目がこちら。
「検索エンジンでの表示」
「検索エンジンがサイトをインデックスしないようにする」つまり、検索エンジンのクローラーにアクセスしないでね、とrobots.txtにお作法通りに記述を追加してくれる機能なのですが、これが非常に困ったことに。
なぜ困るか
この機能は、新規ブログ立ち上げ時にダミー文章が入っていたり、デフォルトのテーマだったりと検索エンジンにクロールされたくない時に設定すると、クロールされなくなるというもの。
※ただし検索エンジンによってはrobots.txtを無視される場合があります
今回、このブログを立ち上げるにあたり、まずこの設定を有効にしてから作業していたのですが、それが後の祭り。。
sitemap.xmlが認識されない
ブログの設定が終わり、記事もいくつか書いた上で上記の「検索エンジンでの表示」の設定を無効にしました。
そしてsitemap.xmlを下記プラグインを入れて作成し、Google Search Console上でsitemap.xmlを送信したところ、エラー表示に。。何故かsitemap.xmlにアクセスできないという警告が出ておりました。
https://ja.wordpress.org/plugins/google-sitemap-generator/
なんじゃそりゃ～と思い必死に調べると、どうもrobots.txtを更新してもすぐにGoogleさんがクロールしてくれるわけではないので、しばらく古い設定が生き残ってしまうらしい。。
そんなわけで下記記事を参考にrobots.txtを更新通知をしてしばらくすると、sitemap.xmlが正常にインデックスされました。
https://webtan.impress.co.jp/e/2014/11/18/18706
Google Adsenseのサイト審査に通らない
デメリット2つ目。
Google Adsenseのサイト登録をしてしばらく待っていたら、こちらもエラー（審査落ち）になりました。その理由もどうやらrobots.xmlの影響でサイトへのアクセスに障害があったかららしいです。
前述の通りにrobots.txtを更新したあとに、Adsenseのサイト再申請を出しました。
ただ再申請にはかなり時間がかかるようで、最初は「審査に1日かかるかもよ」みたいなメッセージが表示されていたのですが、審査中ステータスに変わると「審査に14日かかるかもよ」というメッセージになりました。
長い。。が気長に待つしかありません。
あぁ、これがrobots.txtで変な設定をしていなければ、もっと早く審査が通ったのかもしれないと思うと、とてもガッカリです。
※実際どうだったかはわかりません。
さいごに
「検索エンジンでの表示」の項目ですが、記事をシェアしたりsitemap.xmlをGoogleに通知したりしなければ、検索エンジンがクロールしにくることは無いため、むやみに設定を有効にすることは控えたほうが良いです。
これ以上、犠牲者を増やさないためにも、記事にしておきました。南無三。
—
2018/12/31追記
本日ようやくGoogle Adsenseの承認がおりました。
長かった。。
2018/12/13・・・申請
2018/12/13・・・審査落ち（Google側にrobots.txtのキャッシュが残っていたため）
2018/12/14・・・再申請
2018/12/31・・・承認
一次審査を落ちたせいか、再審査に2週間以上もかかってしまいました。
その間に試行錯誤して試した結果は別途記事にまとめたいと思います。
年内に開始できて良かったです。（ほっ
