X-Robots-Tagヘッダーに悩まされた話

posted in: 備忘録 | 0

このサイトを立ち上げたのが,今年の9月頃

もちろん立ち上げた後にGoogle SearchConsoleにも登録してGooglebotが回ってくれるように設定しました.

・・・が,いつまで経っても検索結果に出てこない.”site:”修飾子を付けてググっても何も出てこない.

 

なにかおかしい・・・xyzという格安ドメインのせい?

困ったときには詳しい人に聞くのが一番!!

という訳で,ウェブマスターヘルプフォーラムに聞いてみました.

 

原因と解決策

うだうだ書くのも面倒なので,先に原因を書いておきます.

今回悪さをしていたのは,「X-Robots-Tag」というHTTPヘッダー

ダメだったときのHTTPヘッダー部分の抜粋

X-Robots-Tag: none

nginxさんのconfigを確認してみると,こんな行が

add_header X-Robots-Tag none;

いつの間にこんなの書いたっけ??

という訳でこのヘッダーを削除しました.

無事解決!!

 

X-Robots-Tagとは

今回のタイトル兼諸悪の根源のX-Robots-Tagとは

ちょっと調べてみたらGoogleのWebmasterガイドラインに書いてありました.

Robots メタタグと X-Robots-Tag HTTP ヘッダーの仕様 : Google Developers

クローラのロボットを制御するHTTPヘッダーらしい.初めて知った・・・

 

今回知らぬ間にディレクティブにしていた「none」にしてしまうと,

このページはインデックスするな!(noindex),リンクもたどるな!!(nofollow)

という意味になるらしい・・・恐ろしや・・・

 

まさかヘッダーからもロボットの制御ができるとは,盲点だった

上手く使えばHTTPデーモン側でロボットの制御ができるから良いのかも?

 

ところで,いつの間にこんなヘッダーを書いたのだろうと思い返してみたら

”SSL化したときはセキュリティ上こういうのを書いたほうがいいよ!”

という記事のconfigをコピペしたのが原因でした.

 

Googleさん.疑ってスミマセンでした…

そしてフォーラムで助けてくださった皆さん有難うございました!!この場を借りてお礼をさせていただきます.

 

今回の教訓

なんか挙動がおかしかったら,相手のシステムの前にまず自分のシステムを疑え.

HTTPヘッダーは割りと重要な情報が詰まってる

いやぁーSEOって難しいですね~

一言残す!