搜索引擎蜘蛛是如何抓取一个在优化中的网站，页面内容好的用户也可以正常访问，但是在查看蜘蛛日志的时候看不到蜘蛛访问。在这种情况下，它是一个爬行异常。在这种情况下，网站出现了一些问题。以下是对蜘蛛爬行异常问题的简单介绍。

常见的蜘蛛陷阱有哪些？有些网站使用SessionID来跟踪用户的反问，每个用户在访问网站时都会生成一个的session id，并将其添加到URL中。搜索引擎蜘蛛的每一次访问都会被视为一个新用户，URL中会添加不同的SessionID，所以每次搜索引擎蜘蛛来访问时，同一页面的URL都会不一样，而其背后不同的SessionID也是蜘蛛陷阱。

除了301转之外，搜索引擎对其他形式的跳转都比较敏感，比如:302跳转、JavaScript跳转、Flash跳转、MetaRefresh跳转 一些网站用户在访问主页时会自动翻到某个目录中的页面 然而，这些首页的大部分转折看不到任何原因或目的。这样转应该能鼓励你。不要把301圈以外的跳跃作为后的手段。

如果你还在用框架结构的设计，建议大家立即停止，不要在这个上面浪费时间了，比如研究如何让搜索引擎包含框架网站 因为搜索引擎无法判断框架中的页面内容属于主框架还是框架调用的文件。不了解网站优化怎么做？联系智营销帮助你提供解决方案。