前段时间，谷歌正式宣布了取消Robots.txt的索引指令，使用这个指令的出版商必须在2019年9月1日前删除该指令，并用其他指令代替。与此同时谷歌官方微博发布了控制搜索引擎蜘蛛抓取的5个方法，深圳谷歌推广公司纷纷学起来了，我们北思特也不例外，在技术上一直在提升。

　　1、机器人元标记中的Noindex：

　　在HTTP响应标头和HTML中都支持，noindex指令是在允许爬网时从索引中删除URL的最有效方法。

　　2、404和410 HTTP状态代码：

　　两个状态代码都表示该页面不存在，一旦抓取和处理这些url，就会从谷歌的索引中删除它们。

　　3、 密码保护：

　　除非使用标记来表示订阅或支付内容，否则在登录后隐藏页面通常会将其从谷歌的索引中删除。

　　4、禁止在robots.txt中：

　　搜索引擎只能索引他们知道的网页，因此阻止网页被抓取通常意味着其内容不会被编入索引。虽然搜索引擎也可以基于来自其他页面的链接索引URL，而不会看到内容本身，但我们的目标是在未来减少此类页面的可见性。

　　5、搜索控制台删除网址工具：

　　这个工具是一种从Google搜索结果中临时删除网址的快捷方法。

　　以上就是5种关于谷歌推广中有利于蜘蛛爬行的小技巧，赶紧收藏起来吧。