AI还是自己？正确率概率告诉你答案！
目录
🤖 第一部分：AI与人类的信任
-
AI在决策中的角色
-
AI的不足之处
-
AI辅助决策的挑战
📊 第二部分：人类正确性概率建模
-
人类正确性概率模型
-
基于过去经验的人类正确性概率估计
🔍 第三部分：实验研究与结果分析
-
研究设计与条件设置
-
实验结果展示
-
人类感知与体验分析
💡 第四部分：决策过程中的重要启示
❓ 常见问题解答
-
人类如何对待显示的正确性概率信息？
-
AI如何对待显示的正确性概率信息？
-
如何平衡系统复杂性和用户体验？
AI与人类的信任
随着人工智能的不断发展，它已被广泛应用于各个领域，从低风险任务如电影推荐到高风险任务如医疗和刑事司法等。然而，人工智能仍然存在许多不足之处。由于法律和道德的考虑，使得人工智能自主做出决策仍然存在风险。因此，在AI辅助决策中，人类通常扮演着重要的角色，AI则提供决策建议，人类可以选择接受或拒绝AI的建议。
AI在决策中的角色
AI通常以辅助的角色出现，提供决策建议，而人类决策者需要决定何时信任AI的建议，何时覆盖AI的建议。
AI的不足之处
尽管AI可以输出预测结果和置信度分数，但是AI仍然存在正确性的不确定性。
AI辅助决策的挑战
人类决策者面临的一个关键挑战是如何判断何时信任AI，何时覆盖AI的建议。现有的方法通常只基于AI的置信度来校准人类的信任，而忽略了人类自身的正确性概率。这引发了一个问题：当AI的正确性概率较低但人类的正确性概率更低时，我们是否应该鼓励人类怀疑AI？
人类正确性概率建模
为了解决这个问题，我们提出了一个框架，通过比较双方的正确性概率来促进人类在任务实例级别上的适当信任。首先，我们模拟了人类在给定任务实例上的正确性概率。
人类正确性概率模型
受认知科学研究的启发，我们提出根据人类在类似任务实例中的过去表现来估计其正确性概率。
基于过去经验的人类正确性概率估计
然而，要获取足够的历史决策数据通常是困难的，特别是对于新任务。因此，我们提出了一种方法来近似人类的决策模型，然后将该模型应用于估计特定任务实例的人类正确性概率。
实验研究与结果分析
我们进行了两项初步研究，一是探索人类制定决策模型的适当界面，二是验证我们方法在识别人工智能与人类团队中各自可以做出正确预测的互补区域的有效性。
研究设计与条件设置
我们比较了我们提出的界面与两个基线条件的效果：仅人类和基于AI置信度的条件。
实验结果展示
结果显示，我们提出的三种基于人类-人工智能正确性概率的方法在提高团队绩效方面表现出互补性，而基于AI置信度的条件则没有。此外，我们的方法使得人类更适当地信任AI，而不像基于AI置信度的基线条件那样过度信任AI。
人类感知与体验分析
总体而言，我们的三种提出的条件在参与者的感知上没有显著差异，除了感知系统复杂性。特别是，虽然自适应工作流在所有条件下实现了最高的团队绩效，但是这些好处是与增加的系统复杂性和心理要求相伴随的。
决策过程中的重要启示
在成功的AI辅助决策中，有几个重要的启示需要考虑。
认知偏差的作用
认知偏差并不总是有害的，有时我们可以利用人类的认知偏差来促进人工智能与人类的团队合作。
自信心的重要性
保持适当的自信对于人类建立对人工智能的适当信任至关重要，然而，以往的工作只关注了对人工智能的信心校
