隐私、智能算法和未来
Posted: Sun Mar 16, 2025 9:43 am
对于数据和大数据科学家 Luciana Silva 来说，智能系统和 LGPD 密切相关，不了解这一点可能会对个人及其隐私造成很大的伤害。
左侧为挂锁的图像以及其周围的计算机“连接”。右边，一位女士一边微笑一边使用手机。下面的角落里是 Serpro 的标志。
2020 年 12 月 1 日
隐私是全球热门话题。 《通用数据保护条例》（GDPR）于2018年5月在欧洲生效。在巴西，《通用个人数据保护法》（LGPD ）于2020年9月生效。
据 Gartner 称，预计到 2023 年，全球 65% 的人口信息将 学生资料 受到现代隐私法规的保护，而目前这一比例仅为 10%。隐私正在成为消费者购买产品的原因之一，就像“有机”和“可持续”标签1一样。
传统软件具有指导隐私、机密性、完整性和可用性工作的统一原则，如市场最佳实践和一致标准（如 ISO、ABNT、ITIL、COBIT、SOX）中所述。在信息安全领域，损害始于未经授权访问数据集或网络。对于隐私来说，危害（未经授权的使用、共享、出售）的起点是广泛访问或强制访问。考虑到任何组织实施访问管理的最佳实践、指南和一般原则的框架，防止或管理访问是一项相对直观的任务。
隐私、安全和数据科学家需要确信数据得到充分保护，以便部署智能系统。如果没有这些保护，智能系统将面临采用的障碍。具体来说，GDPR的第75条 指出“对自然人的权利和自由构成风险，特别是在处理可能导致歧视、身份盗窃或滥用、财务损失、声誉损害、受职业保密保护的个人数据的机密性丧失、未经授权的假名化逆转，或任何其他重大经济或社会损害的情况下”。
那么为什么安全和隐私在智能系统中的应用有所不同？
所收集数据量的规模、使用现有模型的可能性（除了其创建者所想象的模型之外）以及此类模型产生的推理能力与传统软件不同。传统的数据保护框架基于接入点产生的损害。然而，在智能系统中，侵犯机密性或造成隐私侵犯并不总是通过直接访问数据来实现的。
这使得智能系统以新的方式面临隐私和安全风险。即使无法直接访问训练数据，也可能发生隐私和安全漏洞，因为模型本身可能在训练之后很长时间才代表这些数据。同样，无需直接访问模型的源代码就可以操纵模型的行为。因此，损害可以分为信息数据和行为数据。信息损害通常是无意的或由不可预见的信息泄露造成的。反过来，当模型的行为受到操纵时，就会发生行为损害，影响模型的预测或结果。
我们可以做些什么来减轻并帮助处理这些损害？
第一种方法是采用一种能够识别、表达和分类自动决策可能造成的危害类型的方法。隐私论坛制定了三步方法。第一阶段将损害分为以下几类：
机会损失：发生在工作场所、住房、社会支持系统、健康和教育领域
经济损失：造成财务损害或商品和服务市场歧视，包括信贷歧视、价格歧视和选择范围缩小
社会危害：损害一个人相对于其他人的归属感、自尊或社会地位，包括过滤和网络泡沫、尊严受损、刻板印象强化和偏见
丧失自由：损害或限制身体自由和自主权，包括通过限制、监视和监禁
在后期，要确定损害是针对个人还是集体，以及是否违法或不公平。最后，当可以使用相同的缓解策略时，损害按相似性分组：
非法的个人损害赔偿
个人损害赔偿不公正，但有相应的非法类似行为
集体损害赔偿与非法个人损害赔偿相对应
个人损害赔偿不公平，且没有相应的非法类似赔偿
缺乏相应个体类似物的集体损害赔偿
第二个建议是成立多学科团队来审计智能系统。各队要在三道防线上采取行动。在智能系统整个生命周期中进行监控的目的与开发周期不同：目标是开发流程，指导多个团队评估模型并确保长期安全。模型开发人员和测试人员组成第一道防线。第二条线负责模型验证和法律数据审查。最后，第三道防线负责随着时间的推移进行定期审计。
第三个也是最后一个建议是为智能系统创建连续的、多功能的通信流程。持续的跨团队沟通对于确保智能系统的隐私和安全是必要的。数据科学家和开发人员需要获得法律专业知识，以便在智能系统生命周期的早期识别隐私风险。同样，律师和隐私工作人员需要访问项目条款以了解技术限制并识别潜在危害。换句话说，需要一个流程来确保团队之间持续沟通，以防止任何团队孤立运作。
隐私是全球现实。隐私的未来与人工智能问题发生冲突。相信我们将拥有一个 以人类福祉为中心的人工智能监管框架3 ，我们可以立即开始评估智能系统可能给个人和社会造成的风险。这个起点可以帮助您制定比您想象的更近的未来战略。
左侧为挂锁的图像以及其周围的计算机“连接”。右边，一位女士一边微笑一边使用手机。下面的角落里是 Serpro 的标志。
2020 年 12 月 1 日
隐私是全球热门话题。 《通用数据保护条例》（GDPR）于2018年5月在欧洲生效。在巴西，《通用个人数据保护法》（LGPD ）于2020年9月生效。
据 Gartner 称，预计到 2023 年，全球 65% 的人口信息将 学生资料 受到现代隐私法规的保护，而目前这一比例仅为 10%。隐私正在成为消费者购买产品的原因之一，就像“有机”和“可持续”标签1一样。
传统软件具有指导隐私、机密性、完整性和可用性工作的统一原则，如市场最佳实践和一致标准（如 ISO、ABNT、ITIL、COBIT、SOX）中所述。在信息安全领域，损害始于未经授权访问数据集或网络。对于隐私来说，危害（未经授权的使用、共享、出售）的起点是广泛访问或强制访问。考虑到任何组织实施访问管理的最佳实践、指南和一般原则的框架，防止或管理访问是一项相对直观的任务。
隐私、安全和数据科学家需要确信数据得到充分保护，以便部署智能系统。如果没有这些保护，智能系统将面临采用的障碍。具体来说，GDPR的第75条 指出“对自然人的权利和自由构成风险，特别是在处理可能导致歧视、身份盗窃或滥用、财务损失、声誉损害、受职业保密保护的个人数据的机密性丧失、未经授权的假名化逆转，或任何其他重大经济或社会损害的情况下”。
那么为什么安全和隐私在智能系统中的应用有所不同？
所收集数据量的规模、使用现有模型的可能性（除了其创建者所想象的模型之外）以及此类模型产生的推理能力与传统软件不同。传统的数据保护框架基于接入点产生的损害。然而，在智能系统中，侵犯机密性或造成隐私侵犯并不总是通过直接访问数据来实现的。
这使得智能系统以新的方式面临隐私和安全风险。即使无法直接访问训练数据，也可能发生隐私和安全漏洞，因为模型本身可能在训练之后很长时间才代表这些数据。同样，无需直接访问模型的源代码就可以操纵模型的行为。因此，损害可以分为信息数据和行为数据。信息损害通常是无意的或由不可预见的信息泄露造成的。反过来，当模型的行为受到操纵时，就会发生行为损害，影响模型的预测或结果。
我们可以做些什么来减轻并帮助处理这些损害？
第一种方法是采用一种能够识别、表达和分类自动决策可能造成的危害类型的方法。隐私论坛制定了三步方法。第一阶段将损害分为以下几类：
机会损失：发生在工作场所、住房、社会支持系统、健康和教育领域
经济损失：造成财务损害或商品和服务市场歧视，包括信贷歧视、价格歧视和选择范围缩小
社会危害：损害一个人相对于其他人的归属感、自尊或社会地位，包括过滤和网络泡沫、尊严受损、刻板印象强化和偏见
丧失自由：损害或限制身体自由和自主权，包括通过限制、监视和监禁
在后期，要确定损害是针对个人还是集体，以及是否违法或不公平。最后，当可以使用相同的缓解策略时，损害按相似性分组：
非法的个人损害赔偿
个人损害赔偿不公正，但有相应的非法类似行为
集体损害赔偿与非法个人损害赔偿相对应
个人损害赔偿不公平，且没有相应的非法类似赔偿
缺乏相应个体类似物的集体损害赔偿
第二个建议是成立多学科团队来审计智能系统。各队要在三道防线上采取行动。在智能系统整个生命周期中进行监控的目的与开发周期不同：目标是开发流程，指导多个团队评估模型并确保长期安全。模型开发人员和测试人员组成第一道防线。第二条线负责模型验证和法律数据审查。最后，第三道防线负责随着时间的推移进行定期审计。
第三个也是最后一个建议是为智能系统创建连续的、多功能的通信流程。持续的跨团队沟通对于确保智能系统的隐私和安全是必要的。数据科学家和开发人员需要获得法律专业知识，以便在智能系统生命周期的早期识别隐私风险。同样，律师和隐私工作人员需要访问项目条款以了解技术限制并识别潜在危害。换句话说，需要一个流程来确保团队之间持续沟通，以防止任何团队孤立运作。
隐私是全球现实。隐私的未来与人工智能问题发生冲突。相信我们将拥有一个 以人类福祉为中心的人工智能监管框架3 ，我们可以立即开始评估智能系统可能给个人和社会造成的风险。这个起点可以帮助您制定比您想象的更近的未来战略。