笔者这里近期诊断了一个万万级别收录的网站，在诊断后的3天户外垃圾桶，收录忽然暴增300W。但是，这些收录的增长真的是好事情吗?第二天，网站的流量降落了2W-3W，缘故原由是什么呢?收录的链接手机网站开发，悉数都是robots.txt已经屏蔽了的动态链接。
百度蜘蛛不遵循robots.txt协议吗?
常有站长说，百度蜘蛛不遵循robots.txt，屏蔽了的内容弄照旧去抓取。事实上不排除偶有如许的例子，但是基本上重新更新robots.txt就会得到解决。那么解决不了，还会是什么缘故原由造成的呢?今天，我这里就吐露一个小的隐秘：网站有robots.txt，但是蜘蛛访问不到robots.txt文件，你信嘛?
或者说，第一次检测更新可以实现精确的更新，但是继承点击更新就又失败了，继承点击的话，照旧如许的反复，让人摸不到一点规律，百度只是反复的提醒403错误。最终是怎么解决的呢?就像开头题目说的一样：IP屏蔽错误，导致了蜘蛛无法识别robots.txt，你的网站是否也犯过如许的错误呢?假如你进行了IP地址的屏蔽，请检查一下是否包含了
如：123.125.68.* 220.181.68.* 220.181.7.* 123.125.66.* 121.14.89.* 203.208.60.* 210.72.225.* 125.90.88.* 220.181.108.* 123.125.71.* 59.226.50.* 25.90.88.* 61.135.162.*
上述IP为网络其他资源查找，如有不完美的地方，相干同伙可以联系我进行添加，也为更多的站长指路。
网站适合大量的屏蔽IP段吗?
除了上面的这些IP段，其他的IP就可以随意的屏蔽了吗?友谊提醒：假如确定某个详细的IP在持续攻击，建议进行屏蔽，假如是泛滥类型的，屏蔽也没有用果，一不警惕，还会屏蔽了更多的蜘蛛，如360的好搜：
101.226.166.* 101.226.167.* 101.226.168.* 101.226.169.* 182.118.20.* 182.118.21.* 182.118.22.* 182.118.25.* 182.118.35.* 61.55.185.* 180.153.236.* 182.118.26.110 ~ 182.118.26.239
上面为官方宣布的IP段数据，假如站点有屏蔽，肯定要细致了，另外还有有更多的如神马搜索等一系列的搜索引擎，虽然占比都不如百度，但是任何一款搜索引擎，排名若达到的充足高了，流量同样是不容忽视的!
那么，碰到攻击不做IP屏蔽要怎么解决呢?红橘子博客(贺贵江)保举的是：阿里云CDN、腾讯云CDN、百度云加速，都是可以解决的。顺便说一下，腾讯云如今还有半年的新手试用，不过阿里云的品质，也是众人皆知的，百度嘛?前几个月不是很稳固，如今还好。
