Google以外のbotのクロールを基本的にブロック1
こちらはX.com（旧Twitter）のrobots.txt。GoogleやBingなど検索エンジンに対して、サイトのどのページに対してクロールをしてよいか情報を伝えるものです。robots.txtを具体的に見ていくと、「User-agent: Googlebot」に対してはクロールの許可を出しています。しかしそれ以外のbotに対してはクロールを基本的にブロックしています。つまり、多くのbotが「ポストを見ること」ができない状態になっています
＜ 本文に戻る
OTONALIFE-Ch