18143453325 在线咨询 在线咨询
18143453325 在线咨询
所在位置: 首页 > 营销资讯 > 电子商务 > 请谨慎使用robots.txt禁止搜索引擎抓取

请谨慎使用robots.txt禁止搜索引擎抓取

时间:2023-03-08 13:44:01 | 来源:电子商务

时间:2023-03-08 13:44:01 来源:电子商务

大家都知道,在网站上线前,就是你的网址暴露在互联网中,能引来谷歌,百度,雅虎,搜狗等等搜索引擎蜘蛛来爬前,网站的主题,关键字,描述,和网站的结构布局一定要明确。一旦蜘蛛来爬过去,你的网站主题关键字描述及结构布局,还在乱改动,这会很影响网站的收录情况和权重。这也往往是新手,常常犯的错误。网站上线后,还在乱改,结果即使收录了,也会k首页,降权重等等惩罚。

所以有人说,在网站上线前在网站的robots.txt里设置搜索引擎来爬行,等网站标题关键字布局等确定后,再解禁来爬。本人以前没有试过,新上线的一个网站天涯美容屋减肥网,这前因为做股票网,做了几天,又想主题做减肥。转来转去。以前看了有人说可以在robots.txt写禁止蜘蛛来爬,我查了网站log纪录,只有googlebot来抓过,因为上线才一天,其它搜索引擎还没来,我也没提交过。所以只在就禁止 Googlebot 将来抓取我的网站,请将以下 robots.txt 文件放入您服务器的根目录:

User-agent: Googlebot

Disallow: /

结果以为没事。然后自己改版着不多了,天涯美容屋减肥网上线了,提交搜索引擎,发外链,引蜘蛛,robots.txt里也解禁了googlebot的来爬,结果一周后过去了,像百度,yahoo,搜狗等等的搜索引擎蜘蛛全来过了,唯独googlebot再也没有来,我很奇怪的。一向googlebot来的很快的,我做了几个站,一般都是googlebot很快来访,baidu蜘蛛反而要一天后才来。这回一周多了还不来,我越想越不对劲。在a5论坛和推一把论坛和google的论坛里都发了提问,没人能给我正确的回答,都不知道原因。我自己也作了一点测试,用谷歌的模拟蜘蛛程序来抓我的天涯美容屋减肥网,结果显示:首先我把天涯美容屋减肥网的网址,指向了自己的本机上,然后用模拟googlebot蜘蛛来抓,结果显示如下:

以下是 Googlebot 抓取该网页的过程。

URL:

日期: Wed Feb 03 03:11:47 PST 2010

HTTP/1.1 200 OK

Connection: close

Date: Wed, 03 Feb 2010 11:11:40 GMT

Content-Type: text/html; charset=gbk

Server: Microsoft-IIS/6.0

X-Powered-By: ASP.NET,PHP/5.2.9-2

Access Denied

竟然是拒绝访问,我这下头大了,拒绝访问?我再一次检查了网站的robots.txt里面没有禁止谷歌来抓啊,网页的meta标签里也没有写禁止,我甚至把robots.txt都删掉了。再用模拟蜘蛛程序来抓仍然是拒绝访问.我再次发论坛求助,仍然没人知道原因和解决办法.然后我就写了一封信给google,信内容如下:

"我的网站,天涯屋美容减肥网 本来我用这个域名开始做股票网的,做了几天,觉得股票网不行,然后就改版做这个减肥网,改版的两天时间内我在robots.txt里设置了拒绝所有蜘蛛来爬,现在我解禁了,别的蜘蛛像bd热狗yahoo都有来爬,就唯有googlebot再也没来,已经有一个星期了,刚才我用网站管理员工具里实验室里的"像googlebot一样爬取"的功能测试爬取。

天涯屋美容减肥网 首页,显示结果是:

以下是 Googlebot 抓取该网页的过程。

URL:

日期: Wed Feb 03 03:11:47 PST 2010

HTTP/1.1 200 OK

Connection: close

Date: Wed, 03 Feb 2010 11:11:40 GMT

Content-Type: text/html; charset=gbk

Server: Microsoft-IIS/6.0

X-Powered-By: ASP.NET,PHP/5.2.9-2

Access Denied

我检查了robots.txt,甚至删掉了这个文件,仍然是access denied,请问google管理人员,这是怎么回事,如何解决,是不是因为我以前拒绝过googlebot,现在googlebot里有数据把我这个站加入了拒绝访问的名单了,还是怎么回事,急等回复,谢谢"

信发过后,我同时也在作测试,我把天涯屋美容减肥网的网址指向自己本地主机,然后用模拟蜘蛛程序来爬,竟然能正常访问,这证明这个域名是没问题的,应该没有进我所猜想的黑名单.这下我更想不通了?难道是程序问题,程序里除了robots.txt和meta标签里能禁止搜索引擎蜘蛛来爬,还有其它地方也能禁止?难道是虚拟主机问题?主机禁止了googlebot来爬?难道是因为我一周前禁止过googlebot来爬,就留下了某种我不知道的缓存文件,仍然禁止着?然后我又把google adsense加入了这个站,adsense能显示广告,说明adsense能来访问.但是googlebot却不能访问。

更为奇怪的是,一个小时后,也就是笔者在写这个文章前,我用谷歌网站管理员工具里的"像googlebot一样爬取"的功能测试时,竟然能爬行了,我看了一下log纪录,googlebot爬行了11次.这又是什么原因?是我写了信的原因?google工作人员看到了,解决了,效率这么高?还是我把网址指向了我本机,又指回来,这样来回折腾后,又好的原因?实在想不明白,唯一得到的结论是:

一定要谨慎使用robots.txt禁止搜索引擎抓取.新站没做好前,不要让自己的网址出现在互联网任何地方,也不要设置禁止蜘蛛来爬,等网站标题结构等确定好后,再去提交,引蜘蛛.本人亲身经历,希望新手引以为戒。

关键词:索引,禁止,谨慎,使用

74
73
25
news

版权所有© 亿企邦 1997-2025 保留一切法律许可权利。

为了最佳展示效果,本站不支持IE9及以下版本的浏览器,建议您使用谷歌Chrome浏览器。 点击下载Chrome浏览器
关闭