当前位置:首 页 > robots
  • 大丽博客:robots的概念和设置(SEO第五课)
    robots的概念 robots就是一个协议,它告诉搜索引擎爬虫什么可以抓取,什么不可以抓取。(就相当于一个公司门口的公告一样) robots是一个txt文件,命名为robots.txt,放在你的网站根目录下。搜索引擎访问你的网站的时候,首先会看到这个协议,看下哪些内容允许抓取,哪些内容不允许。   出现以下情况,一般会屏蔽掉,不让蜘蛛抓取。 1、你的网站某个页面比较机密,不想让别人看到,就可以屏蔽掉这个页面,不让百度收录,比如你的网站后台登录地址。 2、你的网站还不稳定,前期不想让所有的爬虫抓取,就可以进行如下设置。 User-Ag...
    标签:,
footer logo
Copyright © 大丽博客 Studio All Rights Reserved.| |百度地图|谷歌地图.苏ICP备15061914号 愉快地使用WordPress Theme by QQOQ