如何设置 robots.txt 只允许抓取首页,不允许抓取其他页面

robots.txt 文件可以告诉搜索引擎哪些页面是允许抓取,哪些页面(目录)是不允许抓取的,有的时候我们需要搜索引擎只允许抓取我们网站的首页,其他页面并不想让搜索引擎抓取,可以这样制定规则:


在网站根目录下创建"robots.txt"

User-Agent: *

Disallow: /*

Allow: /index.html


热门推荐