百度/谷歌蜘蛛程序爬行网站过于频繁的解决办法

知道91 | 站长推荐 | 2014-09-09 | 阅读:8779

不知道各位站长有没有遇到这样的情况,发现你的网站访问日志迅速增大,用网站日志分析工具查看有很多相同的IP段访问或者短时间内相同IP的访问次数很多,你就要引起注意了,你会疑问是不是网站遭受 DDOS 攻击了呢?

DDOS 攻击

答案是不一定,你可以搜索一下HTTP请求的IP是不是百度的蜘蛛IP,如果是百度蜘蛛的IP我们又不能禁止访问,但是不禁止就会造成网站服务器的资源占用会被耗尽,这个时候怎么办呢?答案是使用CDN 技术

CDN技术

内容分发网络(CDN)其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络,CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。

因此只要网站使用CDN技术那么就会环节网站服务器的压力。目前国内免费的CDN主要有下面五种:

  1. 360网站宝
  2. 安全宝
  3. 加速乐
  4. WDCDN
  5. CDNZZ

你可以选择使用,具体使用方法官方都有介绍的,这里就不做详细的介绍了。