近日,一篇“51.com被百度惩罚?”的文章出现在网上,从文中得知51.com几乎被百度拔毛,只剩一个首页。
联系到五一国庆左右百度大规模检查并封杀作弊网站,开始让业界以为51.com是百度惩罚的网站之一,通过某朋友提示到51.com的robots.txt文件,让大家明白了百度网站只收录一页的原因,并不是搜索引擎人为所至,而是51.com自身原因。
在查到了http://www.51.com/robots.txt文件的最后更新时间为2007-4-24 12:05:37,http://home.51.com/robots.txt文件的最后更新时间为2007-4-20 14:41:01,http://kf.51.com/robots.txt文件的最后更新时间为2007-4-20 14:46:02,http://my.51.com/robots.txt文件的最后更新时间为2007-4-30 13:16:52。通过分析可以看出,这些robots.txt并不是一天加入的,如果说51.com程序或服务器有漏洞,那黑客不仅仅会加个robots.txt,还会拿掉程序,复制数据库等操作,这些大动作应当会被技术人员发现,及时处理掉。
众所周知,网站80%的流量来源于搜索,如果说51.com流量特别之大,脱离搜索也可生存,那它将搜索屏蔽是可以理解的。但现在51.com偏偏在高速发展期,需要搜索的大量流量,51.com的robots.txt文件是针对所有搜索的,不仅仅是针对与自己产品相冲突的百度。同时51.com将包括kf.51.com域名下的所有页面也屏蔽,显然说不过去。
联系到51.com各域名下的robots.txt更新时间,近日myspace.cn上线等,可以初步怀疑51.com想借机炒作,引导业界关注,没想到被细心人员发现了robots.txt文件,导致炒作

眼镜蛇的最新文章:
