事出必有因，蜘蛛只是一个机器人，它由程序代码构成，必须遵循其规定去爬行网站，如果网站存在一些网站陷阱，则会让蜘蛛爬行变得不顺畅，从而引致一系列的问题。到底哪些网站陷阱成为了蜘蛛爬行的绊脚石?
蜘蛛陷阱
陷阱一：网站地图不正确
网站地图是一个非常有用的网站工具，对于用户和蜘蛛来说，一副完整、正确的网站地图都能很好地识别整个网站的架构，从而更好地浏览和爬行网站。由于一些站长对于代码的不熟悉，以及对网站的架构不熟悉，就随便选了一个权威性不好的工具来制作了一副不完整或不正确的网站地图，最后的结果就是让蜘蛛爬行时陷入其中，最终“迷路”了。
选择一个权威性好的工具来制作网站地图，比如站长工具、百度站长平台工具等，如果自己对网站比较熟悉，最好能够自己手工制作，并亲身多次测试，保证好网站地图的正确性和完整性。

1、查看页面的http状态码
查看页面的状态码返回是否正常。正常清楚下应该返回200。状态码太多，全部记忆下来也不现实，记住常见的几个状态码。ttp状态码 301 (永久移动) 请求的网页已永久移动到新位置。服务器返回此响应(对 GET 或 HEAD 请求的响应)时，会自动将请求者转到新位置。http状态码 404 (未找到) 服务器找不到请求的网页。http状态码 500 (服务器内部错误) 服务器遇到错误，无法完成请求。
2、页面的响应时间
访问速度良好、格式规范的网页，能够提升用户体验并直接影响网站流量页面响应时间检测，是判断一个网站是否是好网站的重要的因素之一。