robots.txtとは・・・
robots.txt？更に分けわからん！・・・というキロク
前回、AMPテストの時、
と言うのが出た。/ampを付けずに検索すると出ないんだけど、これは何か・・・詳細を押すと、
robots.txtファイル？？？ 押してみる。
どんどんわからなくなる～
うーん、作成すればいいのかダメなのかもわからず・・・
とりあえず、テスターを作動させてみると、
あれ？ Sitemap に出ているのは昔のgooの時のアドレスだ！
久々に グーグルサーチコンソールに行ってみる。
あー あります！ここで管理してたのね。
「削除」というのを押してみると、
こう出たので、「新しいリクエスト」を押して、
URLを入れて「次へ」
と出たら「リクエストを送信」。
こうなります。ここまでで「6カ月間の一時的な削除」が出来たらしい。
無くすことはできないのかな。まぁgoo側のコンテンツは全て非表示なのでいいんだけど。
更に、
サマリー→カバレッジ→レポートを開く→除外にチェック→クロール済み・インデックス未登録 と進むと、ナント！
mmhtohoho.com自体が未登録・・・検査すると、
のように出ます！！とりあえず、「インデックス登録をリクエスト」を押しました。
これは・・・gooのブログも調べないと！
gooの「ブログ管理」に行ってみます。
なんと、googleサーチコンソールを「利用する」になってた！！→「利用しない」に変更して保存しました。
他にも、
「ping送信する」「主要pingサーバに送信する」というのもチェック入っていたので外しました。念のため。
そして、robots.txt を追加します！
このファイル、検索エンジンに対し、自分のブログの中で検索エンジンに載せたくない部分を知らせる役目があるファイルらしいので、あえて作らなくてもいいみたいだけど、ウチの場合、よくわからんrobots.txtが存在してるみたいなので、作っておこうかと。
テキストだけど、文字コードはutf-8にしないといけないらしい。
User-Agent: *
Disallow:
と書けば、「全部見て！」ということになるそうだ。さくらエディタで作成します。作成したら、ルートディレクトリに置く必要があるらしい。ウチの場合、
https://mmhtohoho.com/robots.txt
となるんだろう。
こんな感じで登録完了です！ 何か変わるかねぇ。
その後、他にもイロイロ小細工したんだけど、そのせいなのかどうなのか・・・有効なページが急増しました！ しかし・・・
除外ページはもっと急増！！ ６００と１０００だけど、そんなにページないけど・・・どうなってるの？
まあ、もうわけわからないので、gooのブログを削除することにしました。というか、なぜいままで削除しなかったのか・・・長い間ありがとう！