蜘蛛是搜索引擎为抓取网站页面研发的一个程序，当前，最受大家欢迎的搜索引擎莫过于百度与Google了，我们对网站进行日常维护、优化时，经常要关注网站的收录量，因为收录的多寡会对关键词的排名产生一定影响，而收录页面的数量则要依靠蜘蛛爬行来完成。蜘蛛爬行有什么规律呢?
蜘蛛进入网站时，不会一次抓取首页和内容页面的所有“棱角”，而是更喜欢分阶段进行。每个时间段可能抓取的页面不一定相同，但有一点是可以的，那就是每次都会以首页为“起跑线”。然后计算活动时间和在网站上停留的时间。
如果我们有一个新的电台刚刚推出，它将需要一些时间来纳入。因为，搜索引擎要经过反复的计算和“权衡”才能确认该页面是必须包含的，然后页面才会慢慢发布。正常情况下，新站的快照和收录页面会在一周后发布。
是不是域名越长，越“等着被搜索引擎看到”？
没错，只要网站没有过度优化，没有更多死链。很多网站刚完成首页，然后就匆匆上线了。因此，主页上的许多链接都是死链。蜘蛛从主页爬到内页的时候是“锁定”的。就像朋友每次来串门，却被我们拒之门外，必然会激起对方的怨恨。搜索引擎可能会在很长时间后放弃爬行。
一般来说，如果一个网站上线成功，百度和谷歌会给它3~6个月的评估期。成功通过评估后，搜索引擎将确定它是一个长期网站。这时网站开始进入稳定期，蜘蛛会时不时来访问。
有这样一种情况，比如:
在优站分类目录中，编辑坚持每天更新文章。因为程序的原因，后面添加的文章不能在首页自动更新，也就是说首页的栏目仍然显示最早更新文章的标题和更新时间。
主页内容“死”了，不能自动更新。因此，百度蜘蛛通常认为网站没有更新，放弃在内页爬行。结果网站的收录很久没有涨了，快照也很落后。比如首页显示的最新文章是2013年3月16日，快照也是在这个日期。
因此，主页必须在我们的网站每天更新后生成。和上面网站的情况一样，最好找技术人员进行调整，让主页自动更新，让百度知道不是白来的。
值得强调的是，谷歌显然更有耐心。即使发生这种情况，也会不自觉地从首页爬到内页。这也是我们经常看到很多网站收录谷歌比百度多的一个主要因素。
要做好网站优化，必须知道如何与搜索引擎更好地相处。SEO是围绕搜索引擎展开的，因此，要在别人的地盘上混，就得遵循别人的规则。