苦逼站长与robots不得不说的故事

　　小猫今天想说的就是一个小伙伴们都非常熟悉的东西：robots文件，相信小伙伴们对这个文件都不陌生吧!但是呢小猫就发现，很多的站长小伙伴都忘记了robots的重要性，robots表示很生气，后果很严重。小猫的都是自学的，看到robots文件的问题以后，我就问了一些SEO大 神，robots文件很重要吗?当时，这位大神就对小猫语重心长的说：robots可以成就你的网站，也可以毁掉你的网站，所以，robots还是很重要的。小猫用下面的小故事来告诉大家robots对站长小伙伴多么的重要，这个故事是发生在别人身边的，但是小猫为了叙述方面，就改为第一人称了，小伙伴们 就不要在意这些细节了哈!

　　闲话少说，小猫来和大家聊聊robots对我们网站的一些影响。在A5站长网群里有一位小伙伴跟小猫的关系比较好，有一次，他的网站有上千的收录的，但是到一个下午以后，收录突然变为0了。当时他非常的紧张，因为网站的收录没有了，网站的流量也没有了，幸幸苦苦一个多月的时间，到头来发现都是井中月水中花，看得见摸不到。当时这位小伙伴就很灰心，就跑到A5站长群里聊天，问其他的站长小伙伴是怎么回事，网站被K了啊，怎么办呢!A5站长群的小伙伴们还是很热心的，有很多人帮他检查原因，经过一段时间的 检查以后大家发现了原因，那就是他网站的robots文件屏蔽了百度蜘蛛抓取网站页面。

　　现在就有小伙伴想问了：为什么会出现这种情况 呢?原因就在大他在做网站的时候robots文件是完全屏蔽了百度蜘蛛抓取的。相信大家都知道一个事实，就是当你写好了robots文件规则，屏蔽了百度 蜘蛛的时候，发现百度还是会抓取的，道理很简单，百度毕竟不是人，不能做到人一样的智能化，所以百度还是会派蜘蛛来抓取页面的，但是站长小伙伴也别慌，等过段时间以后，百度就会把已经抓取的页面(robots文件屏蔽的)从自己的索引库中删除，百度也会有一个发现的过程，然后改正、纠错。

　　这位小伙伴还问了一句话：为什么会去屏蔽百度蜘 蛛啊?因为网站是刚做好的，而且他本人也有学习SEO，所以也知道关于robots文件方面的内容，明白做一个新网站可以暂时屏蔽百度蜘蛛，等网站做好了在提高给百度，并且把robots文件修改下，允许百度抓取。可能最后是他忘记了吧，把这么关键的一步给忘记了，导致他幸幸苦苦做的网站和外链一夜回到解 放前了。不做死就不会死啊，那段时间他真的很痛苦，整个人的情绪也不是很高。

　　小猫想通过这个小伙伴的经历提醒大家去重视 robots文件这个问题。robots很重要，请不要轻易的忽视了，顺便小猫也说说自己做robots文件的一些经验，我记得在网站刚开始的时候，小猫 也没有注意robots文件这个东西，觉得这个东西无所谓啦。然后通过一段时间自己摸索，小猫发现自己错了，小猫开始重视这个问题，然后把网站上一些垃圾 的、不想推的页面和图片全都给屏蔽了，页面主要都是动态的，大家都知道百度喜欢的是静态的页面，如果你的网站是动态的，会造成的多次抓取，给度娘 的态度很不友好，浪费的蜘蛛的时间和资源，你说度娘会对你的网站有所青睐吗?还有图片也是采集其他网站上的，百度会抓取一些原创图片，如果你的网站再次使 用，就会导致百度认为你的网站是抄袭和伪原创的，这导致的后果不用小猫在这里啰嗦了吧?

　　小猫总结：

　　说了这么多，小猫只是要提醒站长小伙伴重视robots文件，这关系到自己网站的流量，网站要是没有流量了，那么站长小伙伴还做网站干嘛?这也关系到养家糊口嘛，嘿嘿，小猫说的有点远了，今天就白话到这吧，我们明天再见!

　　本文由中国防水涂料网 http://www.chinafstl.com/小猫原创首发，转载请注明!