海薇站长网 - 让网站建设、优化、维护从此简单!

海薇站长网

当前位置: 海薇站长网 > SEO推广 > 新手教程 > 2020年再谈​robots.txt的写法和存放路径

2020年再谈​robots.txt的写法和存放路径

时间:2020-04-02 16:47:56来源:SEO优化网 作者:365天天网 点击:

  标签(Tag):​robots.txt(1)

让搜索引擎抓取内容或者禁止抓取内容是可以通过robots.txt文件进行设定的,如何正确的设置robots文件,请跟着郑州建站网的操作步骤进行阅读了解。

​robots.txt正确的写法有哪些,robots.txt存放路径在哪里?

我们如何让搜索引擎应该抓取内容、或者让搜索引擎不能抓取指定的内容呢?

让搜索引擎抓取内容或者禁止抓取内容是可以通过robots.txt文件进行设定的,如何正确的设置robots文件,请跟着郑州建站网的操作步骤进行阅读了解。

robots.txt文件网站正确的存放路径,有很多新手不知道robots应该放在网站上面位置,我们做一个简单的解答。

robots.txt需要放在网站跟目录下、根目录指的就是网站搭建时的存放文件夹(一般都默认为www和web)。

注意:robots.txt必须命名为robots.txt,不能更改格式和命名。Robots文件必须放在网站根目录下,不能放在其他目录下、放在其他目录属无效,是错误的操作手法。

搜索引擎蜘蛛,在访问网站链接时,首先会遵守用户协议(用户是否愿意公开内容、或者有的内容比较隐私、你可以选择不公开那些内容)去访问你网站根目录的robots.txt文件,看你网站允许抓取的范围。到底如何设置正确的robots.txt呢?一起来了解下、希望能帮助到您。

 

一、什么是robots.txt

robots.txt是一个用户协议文件,用户可以选择对内容进行公开,或者选择不开公开内容。如果设置错了,就会影响到蜘蛛抓取。

二、robots.txt含义所在

Robots.txt是搜索引擎首要的第一个抓取文件,通过设置告诉搜索引擎本站点那些内容可以抓取,那些不可以抓取,可以自定义设置允许或不允许某蜘蛛抓取该网站内容。

可能有人会问,如果我不设置robots文件有关系吗?这并没有问题,如果网站不设robots文件,意味着你的网站内容可以任意抓取。刚说到了robots是一个用户协议文件。希望对你有所帮助。

搜索引擎具体由哪些蜘蛛,点击进去查看到底有哪些蜘蛛程序。希望这篇文章能解决你的问题。

三、robots.txt文件正确的写法

允许搜索引擎访问所有的页面的写法(允许收录所有的页面)

User-agent: *

Disallow:

禁止搜索引擎抓取网站所有内容写法(不允许抓取网站内容、不允许收录网站内容)

User-agent: *

Disallow: /

禁止指定搜索引擎蜘蛛访问(比如禁止百度蜘蛛抓取,写法如下)

User-agent: baiduspider

Disallow: /

允许百度搜索引擎蜘蛛访问(比如允许百度蜘蛛抓取,写法如下)

User-agent: baiduspider

Disallow:

User-agent: *

禁止搜索引擎抓取访指定目录 (写法如下)

User-agent: *

Disallow: /cgi-bin/

Disallow: /amidn/

Disallow: /images/

禁止搜索引擎抓取带字符的链接 (写法如下)

User-agent: *

Disallow:/*?*(禁止抓取带?号的链接)

Disallow:/*\*(禁止抓取带\的链接)

Disallow: /news/09232.html (禁止抓取指定页面)

四、需要注意的细节:

1、一定不要写绝对路径,就是不要带我们网站域名。用/代替就可以。

2、注意robots文件中的所有符号都是在英文状态下写的,比如:Disallow: /wp-admin/ 中“:”是英文状态下的。

3、注意空格;例如:Disallow: /wp-admin/  中":"后面紧跟着是一个空格;

4、注意大小写;例如:Disallow: /wp-admin/中Disallow的“D”是大写的。

5、robots是有生效时间的,是由百度决定的,几天或者两个月以内,所以,一定不要随便屏蔽整站。

6、还有一点要弄清楚的就是:

Disallow: /help  意思是禁止蜘蛛访问/help.html、/helpabc.html、/help/index.html所有的带help的文件及文件夹。

Disallow: /help/则是禁止蜘蛛访问/help/index.html这种形式的路径,允许访问/help.html、/helpabc.html,这两个是不一样的,大家要记清楚。

其实方法都很简答,通过txt文件编辑为robots.txt,然后上传到网站根目录就实现抓取权限了。注意:所有语句都是单规则的,即每行仅声明一条规则,比如例五中三个目录必须分三行列出来。

文由郑州建站网提供的robots.txt怎么写,robots.txt正确的写法和存放路径

你也许会喜欢如下的文章?
(责任编辑:海薇站长网)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
推荐内容