搜索引擎喜欢的网站结构类型 搜索引擎Spider抓取
发布：2020-07-14 17:40 点击：190
国内网民大部分使用的是百度，大部分站长在做搜索引擎优化时也是针对百度优化，除了日常优化外也需要研究百度蜘蛛，了解其喜好然后针对性调整网站，对于百度搜索引擎，什么样的网站架构比较喜欢?同时在抓取内容时，搜索引擎Spider遵循什么样的抓取原理?
一、百度搜索引擎蜘蛛喜欢什么样的网站结构
(一)、网站结构
1、扁平结构或者树形结构:一说到网站结构，大多数接触过SEO优化的人们都会说扁平或者树形结构是对搜索引擎蜘蛛更友好的结构，其实这还是比较片面的，这些内容指的是物理结构，经过我长时间的研究，搜索百度对网站结构并没有统一的规定或者要求，其实只要网站结构合理、有逻辑性、内容有规律可循对百度蜘蛛来说都是友好的。
2、链接结构(逻辑结构)：提到了物理结构就得说说链接结构，链接结构就是通过内部一系列众多的链接形成的结构，对一个站点来说，通过内部链接不止可以目录找到更终页，还需要能够到达网站不同的节点。
(二)、网站导航
导航就是告诉用户目前在什么位置，用户可以通过导航找到上一级或者上上级内容入口，清晰的导航能让用户更快、更方便的获得位置信息，有助于用户体验，百度搜索引擎一直都是站在用户的角度进行改进和优化，有利于用户体验的地方自然会得到百度索索引擎的喜欢。
(三)、url优化
1)url一定要有规律：同一个网页不能有不同url会导致用户和搜索引擎识别混乱，同时有可能搜索引擎收录和展现的url不符合你的预期，也可以通过设置robots禁止百度搜索引擎抓取不规范url。
2)url尽量要短
3)不要添加蜘蛛难以识别和解析的字符
4)动态参数不要太多太复杂，目前百度搜索引擎对动态url已经能够进行很好的处理，但是参数要是太多太复杂可能会无法被搜索引擎收录和解析。
二、SEO搜索引擎Spider蜘蛛抓取原理
搜索引擎主动抓取网页，并进行内容处理、索引引部分的流程和机制一般如下。
步骤1：派出Spider，按照一定策略把网页抓回到搜索引擎服务器;
步骤2：对抓回的网页进行链接抽离、内容处理，消除噪声、提取该页主题文本内容等;
步骤3：对网页的文本内容进行中文分词、去除停止词等;
步骤4：对网页内容进行分词后判断该页面内容与已索引网页是否有重复，剔除重复页，
对剩余网页进行倒排索引，然后等待用户户的检索。
当有用户进行查询后，搜索引引擎工作的流程机制一般如下：
步骤1：先对用户所查询的关键词进行分词处理，并根据用户的地理位置和历史检索特征进行用户需求分析，以便使用地域性搜索结果和个性化搜索结果展示用户更需要的内容;
步骤2：查找缓存中是否有该关键词的查询结果，如果有，为了更快地呈现查询结果，搜索引擎会根据当下用户的各种信息判断其真正需求，对缓存中的结果进行微调或直接呈现给用户;
步骤3：如果用户所询的关键词在缓存中不存在，那么就在索引库中的网页进行调取排名呈现，并将该关键词和对应的搜索结果加入到缓存中;
步骤4：网页排名是根据用户的搜索词和搜索需求，对索引库中的网页进行相关性、重要性(链接权重分析)和用户体验的高低进行分析所得出的。用户在搜索结果中的点击和重复搜索行为，也可以告诉搜索引擎，用户对搜索结果页的使用体验。这块儿是近来作弊更多的部分，所以这部分会伴随着搜索引擎的反作弊算法干预，有时甚至可能会进行人工干预。
按照上述搜索引擎的架构，在整个搜索引擎工作流程中大概会涉及Spider、内容处理、分词、去重、索引、内容相关性、链接分析、判断页面用户体验、反作弊、人工于预、缓存机机制、用户需求分析等模块。以下会针对各模块进行详细讨论，也会顺带着对现在行业内讨论比较多的相关问题进行原理分析。
