因为前期的准备工作,有些网站在一段时间内不希望搜索引擎收录网站,但是过了这段时间,他们希望搜索引擎回来收录。
因此,他们在此期间使用机器人文件屏蔽搜索引擎蜘蛛。用robots.txt屏蔽搜索引擎一段时间有效果吗?
使用robots.txt屏蔽搜索引擎一段时间后,即使去掉对搜索引擎的屏蔽,在短期内还是会对网站有一定的影响。如果网站毕竟需要纳入搜索引擎,那就没必要屏蔽蜘蛛。如果网站的布局设计不完善,可以在上线前完全在本地设置网站。
有些用户屏蔽搜索引擎是因为觉得以前的网站内容不多,然后在内容丰富的时候让搜索引擎收录。有这种想法的用户是完全错误的。网站的发展是一个渐进的过程。如果搜索引擎发现一次有很多内容,并且每天的更新量很少,就会引起搜索引擎的查询。
如果因为某种原因需要,我们在还原robots.txt的时候也要加强外链的建设,引导蜘蛛抓取内页,减少屏蔽的影响。