如果不了解系统的运行方式

[chandonar0]

研究表明，可解释性并不构成系统的信任因素，甚至会导致不信任。

已经提出了几个理由来证明这些主题的重要性以及将其融入负责任的人工智能：

基于人工智能的系统可能会发生故障并产生错误结果。因此，了解原因很有用，甚至是必要的，以便改进或更好地定义系统的范围，并使人工智能结果得到更有效的利用。
用户或任何有关人员应该能够理解这些系统产生的对其影响的结果，或获得这些结果的解释。
例如，将人工智能引入企业标志着一个持续学习和适应过程的开始。人工智能颠覆了工作组织方式。LaborIA Explorer 的研究结果为促进社会和技术对话提出了建议，以支持所谓的“使人工智能系统”融入工作世界。这些建议之一是使人工智能系统“可解释”，让决策者和用户了解它们的工作原理并对产生的结果充满信心。

例如在发生故障导致事故的情况下，就不可能 BC 数据台湾 实现合规和问责。
算法和学习数据可能会受到社会偏见的影响，需要加以识别和消除。从这个意义上讲，可解释性可以在理解此类偏见的起源方面发挥作用，而无需取代特定的偏见管理方法（参见《可解释人工智能的公平性优势批判性调查》）。
信任、操纵和安全方面的可解释性的局限性和风险
尽管目的是要让用户信任和有信心，但这与可解释性之间的关系并不系统。一些研究（Kästner 等人）甚至倾向于表明相反的情况，即当向用户提供解释时，信任会丧失，或者出现可能有害的过度信任现象。

更准确地说，我们观察到两种相反的趋势：如果基于人工智能的系统提供的预测和解释符合用户的先入为主的想法，那么后者可能会过于信任这些预测。如果系统提出的预测和解释与用户的先入为主的想法相悖，那么用户可能会不信任该预测。这些研究表明，可解释性并不构成系统的信任因素，甚至可能导致不信任。因此，我们需要密切关注系统的使用环境，并评估这些风险，以确定必要的可解释性水平及其希望实现的目标。