海薇站长网 - 让网站建设、优化、维护从此简单!

海薇站长网

当前位置: 海薇站长网 > 搜索引擎 > 2020年搜索引擎蜘蛛多 你能掌握这些搜索引擎知识吗

2020年搜索引擎蜘蛛多 你能掌握这些搜索引擎知识吗

时间:2020-04-02 17:02:49来源:SEO优化网 作者:365天天网 点击:

  标签(Tag):搜索引擎蜘蛛(5)

搜索引擎的蜘蛛是按照每个蜘蛛的抓取规则,进行自动的抓取你网站的内容。那么,你知道多少个“搜索引擎”蜘蛛程序呢?跟着郑州建站网一起来了解下:

​搜索引擎蜘蛛名大全、蜘蛛的作用是什么?作为SEO优化人员如何提升优化能力,如何掌握搜索引擎爬虫知识,又该如何利用搜索引擎提升网站排名,这些你都知道吗?

搜索引擎蜘蛛被称为网页蜘蛛(又名为爬虫程序),主要的作用就是抓取网站上的所有内容。简单一点理解,就是你的网站想通过搜索框收录显示,网站就需要网站先被蜘蛛抓取,在进行展示。

搜索引擎又名“蜘蛛程序”和“网页爬虫”甚至有的人直唿为网页机器人,其实这都名称都不重要。搜索引擎的蜘蛛是按照每个蜘蛛的抓取规则,进行自动的抓取你网站的内容。那么,你知道多少个“搜索引擎”蜘蛛程序呢?跟着郑州建站网一起来了解下:

百度蜘蛛:Baiduspider

1、百度网页蜘蛛:Baiduspider-mobile

2、百度图片蜘蛛:Baidu-Thumbnail有的说是Baiduspider-image

3、百度新闻蜘蛛:Baiduspider-news

4、百度视频蜘蛛:Baiduspider-video

5、百度MP3搜索蜘蛛:Baidu-Transcoder

6、百度移动蜘蛛:baiduspider-mobile-gate

注:最常见的百度蜘蛛是Baiduspider和Baiduspider-image两种。

谷歌(Google)蜘蛛:Googlebot

Google蜘蛛最新称为“compatible; Googlebot/2.1”,还发现了Googlebot-Mobile

1、Google网页蜘蛛:Googlebot-Mobile

2、Google图片蜘蛛:Googlebot-Image

3、Google广告蜘蛛:Mediapartners-Google

4、Google质量蜘蛛:Adsbot-Google

搜搜蜘蛛:Sosospider

搜搜网页蜘蛛:Sosospider

搜搜图片蜘蛛: Sosoimagespider

360蜘蛛:360Spider,它在蜘蛛界中是最为勤奋的蜘蛛程序。

搜狗蜘蛛分别为:

搜狗蜘蛛:sogou spider

搜狗蜘蛛:Sogou inst spider

搜狗蜘蛛:Sogou News Spider

搜狗蜘蛛:Sogou web spider

搜狗蜘蛛:Sogou spider2

搜狗蜘蛛:Sogou blog

搜狗蜘蛛:Sogou Orion spider

搜狗蜘蛛名可以用Sogou来概括,上面具体有没有效,无法验证)

雅虎蜘蛛

雅虎中文蜘蛛:Yahoo! Slurp China

雅虎英文蜘蛛:Yahoo! Slurp

雅虎竞价蜘蛛:Yahoo ContentMatch Crawler/2.1

雅虎图片蜘蛛:Yahoo-MMCrawler

有道蜘蛛:YodaoBot

微软蜘蛛:msnbot

网页蜘蛛:MSNBot

图片及媒体蜘蛛:MSNBot-Media

新闻及blog蜘蛛:MSNBot-NewsBlogs

产品及购物蜘蛛:MSNBot-Products

学术蜘蛛:MSNBot-Academic

MSN蜘蛛:msnbot和msnbot-media(最常见的msnbot-media)

必应蜘蛛:bingbot (compatible; bingbot/2.0)

Alexa蜘蛛:ia_archiver

一淘网蜘蛛:EtaoSpider

还有一些国外的蜘蛛:

Altavista的蜘蛛:Scooter

Lycos的蜘蛛:Lycos_Spider_(T-Rex)

Alltheweb的蜘蛛:FAST-WebCrawler/

INKTOMI的蜘蛛:Slurp  ASPSeek  ASPSeek

东方网景 lanshanbot

日本某个蜘蛛 BSpider

另外还发现了一些国外的蜘蛛,如 YandexBot、AhrefsBot和ezooms.bot,国外蜘蛛对于我们中文站来说,作用很小。

每个搜索引擎都有自己的蜘蛛程序,如果你不想被某个蜘蛛程序抓取,可以采用robots.txt的方法来禁止抓取网站内容。这里我们提供一篇《robots.txt正确的写法和存放路径》供大家学习参考。

(责任编辑:海薇站长网)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
推荐内容
图文推荐