一诺对蜘蛛工作原理的理解

　　作为一名seo工作人员，如若连蜘蛛的是这样去爬行抓取的那做起优化来肯定要事倍功半了，当对seo有了初步的了解，那接下来的课程就是去了解蜘蛛怎样的一个抓取方式，这是首要了，没此也就不用去做接下来的工作了，因为没必要，没效果。

　　上周末，去一家seo培训机构去学习搜索引擎的优化以及优化效果的提高。受益匪浅，首先告知我们Seo人员每天的工作绝对不是一直是一种无限外链的状态。如果domain达到了一定数量还是只有那么小小的效果，真心没有必要再继续下去。

　　刚刚入门的seo也知道外链以及如何去伪原创，所以也没跟我们多提如何如何做，如何去写什么的，就值得关注的就是告诉我们蜘蛛是这样工作的，那接下来我也拿出来给大家分享下

　　一、首先蜘蛛的路径，从哪来.

　　直接以开始的接触就是当你在提交网站的时候。通过一些相关网站的链接跟踪到我们这里，并遵循一定的规律来抓取信息。

　　有很多人认识中是不需要提交网站的，其实错了，是因为你发的外链勾引的蜘蛛。这都是可操作性的东西，还一种比较特殊，就是我们定义的蜘蛛会按照1-0，a-z这样的方式对域名进行扫描，然后进入其中的网站。

　　二、大化利用robots文件。

　　按照常规的说法，Robots文件是限制蜘蛛在你网站的活动范围，更好的保护网站所有者的权利和隐私。这是蜘蛛到达一个网站后要做的第一件事情，如果一个网站没有该文件，蜘蛛则认为是该网站所有的内容均可挖掘。

　　在Robots文件中，一般只用到禁止(Disallow)。其实你还可以用推荐允许(Allow)。一个网站中有很多暗角是蜘蛛不能爬行到的，这时候，你可以用Allow指引蜘蛛，你可以多做一些地图页面，让蜘蛛在上面活动。

　　也有人说，为什么要用Allow,直接使用Sitemap不就可以了么。我们都知道，其实大家更看重的Sitemap，谷歌是完全没问题的，而百度蜘蛛理解起来是有一定问题的，不能很好的发挥他的作用。(这是原话，其实小子是没办法理解的，刚刚接触)

　　三、蜘蛛在我们域名内的活动方式

　　百度的《搜索引擎优化指南》相信大多数人都有看过，这个还没有去看过的seo们是必须要去看的，说道他们更推荐的url方式，树形的跟扁平的。但是我们只知道要注意去做，但是究起因我们却不知道为什么要如此去做。

　　蜘蛛的爬行都是有原则性的--广度和深度。一般都是广度优先，蜘蛛不会在网域的纵深抓取太多。蜘蛛只能一个页面的抓取完成是时候才能通过丰内链进入下一个子页。做成频道页和列表页，能够使得蜘蛛更为便捷的抓取我们的网站。十分要注重内联信息的丰富度

　　四、蜘蛛所爬行的权限也就相对于一个游客

　　正因为如此，如果你的网站不对路过的游客开放或者存在隐私权限等，那么蜘蛛将无法抓取到你网站的内容。