一般来说,我们希望搜索蜘蛛光顾我们的网站越多越好,我相信每个新手站长都会是站长工具的常客,一大早起来就是关注自己网站的收录量.收录量的增长是一张晴雨表,升则忧、降则喜，我想告诉广大的站长朋友这完全没有必要，收录量不是目的，我觉得我们关...

虽然说对于广大站长来说，我们可能希望搜索引擎收录我们的网页越多越好，但是有的时候我们并不希望搜索引擎收录我们的一些网页，比如后台登陆页面，密码保护页面，私密页面。搜索引擎网络爬虫，我们常常把它称为搜索“蜘蛛”，因为这些“蜘蛛”沿着网络...