海薇站长网 - 让网站建设、优化、维护从此简单!

海薇站长网

当前位置: 海薇站长网 > SEO推广 > 新手教程 > robots协议的意义何在?

robots协议的意义何在?

时间:2018-07-06 17:24:24来源:SEM教程网 作者:365天天网 点击:
robots协议是什么?robots协议的意义何在?robots协议是什么样的?想要了解robots协议请看以下文章!

robots协议是什么?robots协议的意义何在?robots协议是什么样的?想要了解robots协议请看以下文章!

首先robots文件指的是带有.txt的文件,robots.txt的写法是做seo网站优化人员必须知道的(什么是robots.txt),但该如何写,禁止哪些、允许哪些,这就要我们自己设定了。

1、什么是robots协议? robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。robots协议的本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好地抓取网站内容,更好的保护用户的隐私和版权信息。 大家记住,如果站内没有robots.txt文件,则表明蜘蛛可以任意抓取网站的文件。对于我们seo网站优化来说并不是所有文件都需要让蜘蛛抓取的。例如一些不重要的文件,或者网站的死链接,我们就需要使用robots.txt来屏蔽掉,不让他抓取。

2、robots.txt文件存放在网站的什么地方robots.txt文件存放在我们网站的根目录下,我们如何检测站点里面有没有robots.txt文件,我们只需要在网站的根域名后面输入robots.txt

3、robots.txt文件书写规则:• User-agent: 蜘蛛名称• Disallow: 内容名称 (禁止抓取的内容)• Allow:内容名称(允许抓取的内容)。

注意事项:第一点是正常情况下我们书写这个robots文件的时候一般很少用到ALLOW,但是robots这个文件必须且至少要写一条disallow记录。第二点是robots.txt 这个文件名要小写的。

各大搜索引擎蜘蛛名称,我们需要把这些带用的蜘蛛名称记下来: • 谷歌:googlebot • 百度:baiduspider • MSN:MSNbot • 雅虎:Slurp • 有道:YoudaoBot • 搜搜:Sosospider • 搜狗:sogou spider • 360:360Spider (haosouSpider) • alexa:ia_archiver

通配符说明: – *表示所有搜索引擎,用于指定蜘蛛使用。 – $表示以某字符串结尾 – /表示当前目录下的所有内容

指定蜘蛛 • User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符 禁止写法 • Disallow: /admin 这里定义是禁止爬寻admin目录 • Disallow: /a/*.htm 禁止访问/cgi-bin/目录下所有以“.htm”为后缀URL(包含子目录) • Disallow: /*?* 禁止访问网站中所有包含问号(?)的网址 • Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片 • Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。

你也许会喜欢如下的文章?
(责任编辑:365天天网)
顶一下
(1)
100%
踩一下
(0)
0%
------分隔线----------------------------
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
推荐内容
图文推荐