百度首先要利用技术“读懂”各个网页的内容，然后把网页分门别类，这个量级非常大，据说现在
站群网站数量已经几百万级别了，以每个网站1万网页数量统计，这个网页当量已经是百亿级别了，况且搜索引擎网页数据还没有达到实时更新，想想这个量都很吓人。
大多数网站一般没有爬行问题，但有些事情能引起的问题。例如，JavaScript或者Flash可能隐藏的链接，使得网页链接导致隐藏的搜索引擎。都可能导致实际的话，在页面被隐藏每个站点是一个爬行的预算，时间或网页，搜索引擎会抓取每一天一个近似值，基于一个站点的相对信任和权威。大网站可能寻求提高抓取效率确保“正确”的页面被抓取更多。robots.txt的使用，内部链接的结构特别是告诉搜索引擎不要抓取某些URL参数页面都可以提高抓取效率。
依托PC互联网成长起来的三大网络巨头百度、阿里巴巴、腾讯，三者的主业分别为信息检索、
电子商务站群、社交，这三个才是真正的刚需。腾讯的牛逼之处在于QQ，由于QQ用户9亿多，这简直就是一个超级流量入口，以QQ为流量引擎，然后发展游戏和增值服务，这是一个非常NB的组合;在PC互联网时代的阿里巴巴，是三巨头里面唯一一个没有超级流量引擎的网络巨头，但是阿里巴巴为什么可以发展起来?阿里巴巴是三巨头里流量变现能力最强的，所以阿里巴巴可以通过买流量来发展成为巨头，淘宝当年为什么要屏蔽百度抓取?就是因为阿里巴巴不想受制于人，百度也知道
电子商务站群赚钱，所以淘宝如果允许百度抓取，后面将会非常被动。
但是阿里巴巴通过买流量然后再卖给淘宝商家，这个生意确实不能长久，因为流量成本正在逐年攀升，阿里巴巴的软肋——缺少超级流量引擎这个劣势正在日益明显，在这种恐慌背景下，收购新浪微博这个流量入口也在情理之中了，但是新浪微博本来是社交属性，其对手应该是类似微信这样的对手，所以用微博推广游戏还好，如果推广电商，就发展成了社交媒体，这就变味了，不过这完全是阿里巴巴收购以后给天猫淘宝导流运营的结果，这种结果并不奇怪。PC互联网时代的阿里巴巴活的并不轻松，缺流量、流量成本高始终如同梦魇挥之不去。
假设一个网站日流量为100ip。(一百ip大家还是很容易就能做到的!) 10个网站一天就是10*100=1000ip 100个网站一天就是100*100=10000ip 1000个网站一天就是0*100=100000ip
养站时，可以在这100个网站里面同时添加网站的
关键词。也就是说，用这100个网站的
站群同时养七个站，而不再做详细的细分。这就要求在做网站的时候详细的做好
关键词记录单，来将链接添加到站群软件里面。同时，注意文章的发布数量，建议：每天一个网站的A栏目发布两三篇文章就可以了。
