网站robots.txt文件详细写法和注意事项
robots.txt文档是存放在网站根目录的一个txt文本文件,它的作用就是搜索引擎蜘蛛在抓取网站链接之前,告诉搜索引擎蜘蛛,哪些页面可以抓取,哪些页面不可以抓取,就是一个协议,目前主流的搜索引擎都遵守这个协议,所以我们做seo优化一定要知道这个文件,同时要知道怎么写这个文档,今天带大家来了解一下。
robots三要素
1、robots.txt必须存放在网站根目录
2、robots.txt文件名不可修改
3、搜索引擎蜘蛛在抓取网站时,首先必须访问robots.txt文件
robots形式及定义
User-agent:Baiduspider(定义百度蜘蛛)
Disallow:/
User-agent:定义所有的蜘蛛
Baiduspider:百度蜘蛛
Googlebot:谷歌机器人
MSNBot:msn机器
Baiduspider-image:百度图片
Disallow:不允许抓取
Allow:允许抓取
*:定义所有的蜘蛛通配符
$:结束符
/:通配符拒绝百度蜘蛛访问访问网站根目录的文件,就是全部的意思
robots生效时间是多少,是由百度决定的,有可能是1个月或者2个月
网站优化必须要有robots.txt,robots.txt格式区分大小的,区分大小写格式为:Disallow首字母必须是大写的,在本地新建记事本编辑时需要注意的是:输入法中文要切换成英文。
同时也需要注意的是,网站动态的路径也要用robots进行屏蔽,在这个前提需要做的是,要了解每个文件下的数据是用来做什么用的,代表什么意思,自己下面也知道如何运用robots进行操作。
<<上一篇:揭开蜘蛛池神秘面纱,探索蜘蛛池原理
下一篇:2020年给你推荐7款长尾词挖掘工具 >>