文章插图
什么情况下要设置禁止搜索引擎抓取自己的网站呢？
公司内部测试的网站 ， 或者内部网 ， 或者后台登录的页面 ， 肯定不希望被外面的人搜索到 ， 所以要禁止搜索引擎抓取 。还有在我们的网站还未正式上线之前 ， 我们需要做大量的修改工作 ， 如果还未修改完成又没有设置禁止抓取 ， 那么网站就有可能会被收录了 ， 后期我们对网站再进行修改操作 ， 就会对网站造成影响 。
搜索引擎第一个访问的文件就是robots.txt ， 禁止所有搜索引擎访问网站的所有部分 robots.txt写法如下：
User-agent: *
Disallow: /
网站有内容不想让搜索引擎收录 ， 就可以在robots.txt里声明 。
【robots.txt协议如何设置禁止搜索引擎抓取？】
推荐阅读
- Mysql无法启动情况下，如何恢复数据？
- 实体店小程序如何运营？
- 如何使用CSS蒙版构建一个动画的表情
- 淘宝直播如何快速增加亲密度,视频 淘宝直播间亲密度怎么提升
- 如何选择家具
- 如何化解尖角煞
- 窗的风水讲究
- 开门风水禁忌
- 鬼吹灯小说共有多少部?顺序如何? 鬼吹灯小说的顺序
- 整体厨房如何设计