例如，如果客户在网站上填写任何表格来订购服务，重要的是要确保个人数据不会公开； 之前发布内容的页面实际上已被删除，但该信息仍在索引中，并且可能会错误地显示在结果中； 例如，在具有产品过滤器或重复类别的页面上检测到重复内容，以及不相关信息（例如，有关结束促销的信息）。
对用户没有价值的服务页面通常也会被排除在索引之外。 有关如何阻止网站编制索引的有用提示 我们提供了几种有关如何防止您的网站被索引的选项。 使用Robots.txt 如您所知，搜索爬网程序对网络资源页面和部分的访问是由 robots.txt 文件提供的。
当机器人抓取网站时，它会遵循本文档中概述的命令或指令。这些规则可帮助您决定要抓取哪些页面以及要跳过哪些页面。基于这个原则，可以很合理地假设，通过这种方式可以关闭站点的索引；在这种情况下，robots txt 将成为进行更改的地方。
要正确配置搜索算法的权限和限制系统，了解此文件中的指令的含义很有用： user-agent是对特定搜索引擎的机器人或所有机器人的一种吸引力； disallow - 禁止对网站的特定页面或部分建立索引的命令； allowed是一个
它允许对单个页面或部分建立索引； 站点地图是一个指针，显示网络资源上的页面以及它们之间的关系。该命令打开 XML 站点地图的路径。 要完全阻止站点建立索引，例如在项目创建阶段，请添加以下命令： 禁止网站索引 在这种情况下，用户代理后面的“*”符号表示指令中描述的规则适用于来自不同搜索引擎的机器人。
