蜘蛛陷阱如何避免 蜘蛛异常问题有哪些
发布：2020-09-04 17:45 点击：146
搜索引擎蜘蛛是优化师在网站优化中一定考虑的问题，页面内容优质用户也可以正常访问，但是查看蜘蛛日志始终看不到蜘蛛来访问，这种情况下是抓取异常，对于这种情况网站是出现了一定的问题，对于蜘蛛抓取异常中的问题，下面来作简单介绍。
蜘蛛无法顺利抓取问题
服务器链接异常
服务器链接异常会有两种情况：一种是站点不稳定，baiduspider尝试链接您网站的服务器时出现暂时无法链接的情况：另一种是baiduspider一直无法链接上您网站的服务器。
造成服务器链接异常的原因通常是您的网站服务器过大，超负荷运转。也有可能是您的网站运行不正常，请检查网站的web服务器是否安装且正常运行，并使用浏览器检查主要页面能否正常访问。您的网站和主机还可能阻止了空间或者购买cdn服务。
DNS异常
当baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新你的IP地址。
IP封禁
IP封禁为：限制网络的出口IP地址，禁止该IP段的使用者进行内容访问，在这里特指封禁了baiduspiderIP。当您的网站不希望baiduspider访问时，才需要该设置。如果您希望baiduspiderIP。也有可能是您网站所在的空间服务商把百度IP进行了封禁，这时您需要联系服务商更改设置。
常见蜘蛛陷阱有哪些
SessionID
有些网站使用SessionID跟踪用户反问，每个用户访问网站时都会生成独特寥寥无几的SessionID，加在URL中。搜索引擎蜘蛛的每一次访问也会被当成一个新的用户，URL中会加上一个不同的SessionID，这样搜索引擎蜘蛛每次来访问时所得到的同一个页面的URL将不一样，后面带着一个不一样的SessionID也是一个蜘蛛陷阱。
各种跳转
除了301转向以外，搜索引擎对其他形式的跳转都比较敏感，如：302跳转，JavaScript跳转，Flash跳转，MetaRefresh跳转。有些网站用户访问首页时会被自动转向到某个目录下的页面。但大部分这种首页转向看不出任何理由和目的，像这样的转向应能勉则勉，不到万不得已，尽量不要使用301转向以外的跳转。
框架结构
如果你还在使用框架结构的设计，本人菜鸟SEO2014在这里建议大家立马停止。不要浪费时间如研究怎么让搜索引擎去收录框架结构网站。因为搜索引擎无法判断框架中的页面内容应属于主框架还是框架调用的文件。
- 上一篇：网站蜘蛛陷阱如何避免 蜘蛛异常问题有哪些
- 下一篇：成都网站优化移动端如何优化
