サーチコンソール 初クロールと初インデックス

Search Console - サーチコンソール

Google - グーグル

結論から先に言うと、サーチコンソールの情報をしっかり確認する、そして自分の頭で考える。

2018年3月15日 koreosu.com を新規取得して index.html を設置。そしてサーチコンソールに登録。
3月17日に、とりあえずという感じで、放置気味の自ウェブサイトとブログから数本リンクを張ってクロールを呼び込む。まあこれはサーチコンソールに登録さえすればクロールは必ず来るので必要ないっちゃない。
3月25日、サーチコンソールの「クロールの統計情報」で初クロールを確認する。

しかし！
3月29日になってもインデックスされず、これは何かおかしい……と感じて行動を開始する。
サーチコンソールや初インデックス（されない問題）についてググってみるが、明確な答えや事例を挙げているページはほとんど見当たらない。それっぽいことを書いているページは沢山あるが、どれも具体性がなく、解決への話もない。これは自力でなんとかするしかないなと、他人様に甘えんなと、腹を決める。

まずやれることはサーチコンソールを全て確認しなおすこと。そもそもが新規ウェブサイトは動きが無くつまらないので「クロールの統計情報」と「インデックス ステータス」辺りを適当にポチポチ見るだけになりがち。これが思考停止気味にハマりこんでしまう罠。

そして、ふと気になったのが「クロールエラー」

これまでの経験上、robots.txt の使い道として除外的・例外的な、つまり今までほとんど使うことはなかった。必要になった場合にだけ設置するもので、必要になることがほとんどない ＝ 設置しない、で問題なくやってきた。だから何度かこの画面を見ることがあっても、全く気にしていなかった。
しかし、腹を決めて画面に向かっていたおかげか、もう一つ先に駒を進める。

……ん？

ちっこい (？) や、塵のような青 ● にマウスカーソルを乗せたら表示された。なにこのプチヒント。
こんなの普段なら気付かねぇって……
というかこの時点でもまだ本命の謎解きは始まっておらず、あちらこちら迷走しながら無駄な時間を使っていた。

しばらくして、やっと本命に触れ始める。

robots.txt ファイルは必ず必要というわけではない
自身の経験でも、Google ヘルプでも、必要なものではないという。
このへんの情報を何度も行ったり来たり、それでも中々気付けないもので、灯台下暗しなのか、ただただ己がアホなのか……
答えは、その下にある。
Google のクローラが robots.txt ファイルにアクセスできるようにする
ときに、Google のクローラが robots.txt ファイルにアクセスしようとしたときにサーバーから 5xx（アクセスできません）エラーが返されることがあります。ホスティング プロバイダの方で Googlebot がブロックされていないことを確認してください。
これ……
5xx エラー

ウェブサーバーに関して詳しいわけじゃあない自分でも、繋がった……
ミステリー小説や映画の謎が最終盤に伏線を回収しながら解けていくように、繋がった……
つまりは、robots.txt を設置しないことが普通だった自分、Google ヘルプだってそう言ってるし、だから思考はその先に進むことはなかった。
そして、robots.txt を拾いに来た Googlebot は、500 エラーを受けて作業を緊急停止する。500 エラーが解消されない限りその停止解除はできない、忠実な Googlebot の仕事っぷり。
今回は手持ちの遊ばせ気味なロリポップのレンタルサーバーアカウントを使っていて、おそらくはその設定が 403 や 404 を返すのではなく、500 を返していることで起きてしまったスレ違いなんだろう。そう考えた。己の足りない頭で……
そりゃあ、サイトマップを登録しようが（保留状態だった記憶）、Fetch as Google をリクエストしようが、良い反応が無いわけさ……
新規ウェブサイト立ち上げの場合、通常運転状態の青信号から赤信号ではなく、無色透明からいきなりの赤信号発進なので、それが一時的な初期値というだけなのか、まさに問題発生の赤なのか区別が難しい。だから間違った選択肢である「とりあえず待て」にハマってしまうのだ。

早速、空の robots.txt を発射する。
……すると、これもずっと謎の拒絶エラー状態だった「Fetch as Google」での「(！) 一時的にアクセスできません」しかなかったところに、リクエスト一発で「完了」便秘解消！！

そして十数分経過、初インデックス！！　なんという早さ。なんというあっけなさ。
さらに小一時間後、koreosu.com 全 5ページ無事インデックスを確認。

こうして解決してみれば、なんてことない認識ミスと対応のすれ違いでしかないわけだが、その只中で 100％ の確信を持てない作業というのは思わぬトラブルに陥るものだなと実感する。チェルノブイリ原発事故だって……

そしてこのページが、この一件をネタにして書かれ、koreosu.com 6番目のインデックスへと。