网站robots.txt文件详细写法和注意事项

robots.txt文档是存放在网站根目录的一个txt文本文件,它的作用就是搜索引擎蜘蛛在抓取网站链接之前,告诉搜索引擎蜘蛛,哪些页面可以抓取,哪些页面不可以抓取,就是一个协议,目前主流的搜索引擎都遵守这个协议,所以我们做seo优化一定要知道这个文件,同时要知道怎么写这个文档,今天带大家来了解一下。

网站robots.txt文件详细写法和注意事项
 
robots三要素
1、robots.txt必须存放在网站根目录
 
2、robots.txt文件名不可修改
 
3、搜索引擎蜘蛛在抓取网站时,首先必须访问robots.txt文件
 
robots形式及定义
User-agent:Baiduspider(定义百度蜘蛛)
 
Disallow:/
 
User-agent:定义所有的蜘蛛
 
Baiduspider:百度蜘蛛
 
Googlebot:谷歌机器人
 
MSNBot:msn机器
 
Baiduspider-image:百度图片
 
Disallow:不允许抓取
 
Allow:允许抓取
 
*:定义所有的蜘蛛通配符
 
$:结束符
 
/:通配符拒绝百度蜘蛛访问访问网站根目录的文件,就是全部的意思
 
robots生效时间是多少,是由百度决定的,有可能是1个月或者2个月
 
网站优化必须要有robots.txt,robots.txt格式区分大小的,区分大小写格式为:Disallow首字母必须是大写的,在本地新建记事本编辑时需要注意的是:输入法中文要切换成英文。
 
同时也需要注意的是,网站动态的路径也要用robots进行屏蔽,在这个前提需要做的是,要了解每个文件下的数据是用来做什么用的,代表什么意思,自己下面也知道如何运用robots进行操作。

相关内容