摘要：当前，人工智能让人头疼的问题之一是：它们的行事方式我们常常难以理解。
兴奋与忧惧在 2024 世界人工智能大会并存。兴奋不难看到，那么多人工智能产品，给人类生产力带来巨大跃升，没有理由不为此欢欣鼓舞。忧惧也不时不笼罩着这个行业，就像图灵奖获得者姚期智在大会开幕式上警告的：“简单来说，突然发现了一个方式，创造一个新的物种，这个物种比我们强大很多很多倍，我们是不是确定能跟它共存？”
这种复杂的感受从今年大会的全称——2024 世界人工智能大会暨人工智能全球治理高级别会议——当中也能体会到，这既是一次人工智能的大会，也是一次人工智能治理的大会。
人类对机器的担忧由来已久。很多科幻电影都呈现过这样的情景：一台由人类制造的机器有了自我意识，不再听从摆布，而是反过来与人类为敌。
真实世界里的人工智能还远没有这么智能，人们担心的还不是它们违背指令、自行其是。当前，人工智能让人头疼的问题之一是：它们的行事方式我们常常难以理解。
因为构成人工智能的关键技术——深度学习的过程是不透明的。深度学习模仿了人脑学习的方式，依靠人工神经网络，对节点（类似神经元）和数值权重（类似突触）之间的关系进行编码。这些网络的体系结构可以自行发展。在完成了训练后，程序员就不再管它，也无从知晓它正在执行什么计算。这意味着，即使是神经网络的设计者，也无法知道神经网络在经过训练后，究竟是如何执行任务的。
一个知名的例子是 AlphaGo（阿尔法狗）。这是由谷歌子公司 DeepMind 开发的人工智能程序，擅长围棋。2016 年 3 月，AlphaGo 以4：1 战胜了人类顶尖围棋选手李世石。几个月后，又同顶尖人类棋手对战了 60 局，并赢得所有棋局。输给李世石的那一局，是它输给人类的唯一一局比赛。
AlphaGo 赢得惊世骇俗。人们惊叹，更惊惧。因为即使是 AlphaGo 的程序编写者也无从知道 AlphaGo 为何能把围棋下得这么好，会如此迅速、彻底地击败人类对手。我们只能从经验中了解到，神经网络取得了成功。图灵奖获得者朱迪亚·珀尔说，我们对深度学习的理解完全是经验主义的，没有任何保证。
机器深度学习仿佛是一个“黑匣子”，和传统程序完全不同。传统程序在编写前，程序员已经在脑中设计好了，他可以解释机器应该做什么。但深度学习模型能给自己编程，得出的结果常常是人类无法理解的。
怎么应对？当前有两条路径在并行。
其一是监管。人类无法察知人工智能正在学什么，以及它如何知道自己学到了什么。虽然这点让人不安，但包括基辛格博士等在内的很多思想者认为，我们不必如此紧张，须知人类的学习往往同样不透明。无论大人孩童、作家、画家、球员，事实上经常根据直觉行事，因此无法阐释他们的学习过程。
为了应对这种不透明性，各类社会制定了无数的专业认证项目、法律、法规。基辛格等人认为，我们对人工智能也可以采取类似方法，例如只有在人工智能通过测试证明它的可靠性后，才可以推出。为人工智能制定专业认证、合规监控将是全球治理的一项重要工作。
其二是尝试打开“黑匣子”，增加人工智能的透明性，让它变得更加可信。包括中国同行在内，全球人工智能界在尝试不同手段。在 2024 世界人工智能大会上，上海人工智能实验室主任、首席科学家周伯文说：“我们最近在探索一条以因果为核心的路径，把它取名为可信人工智能的‘因果之梯’。”
上海人工智能实验室希望通过深入理解人工智能的内在机理和因果过程，从而安全且有效地开发和使用这项技术。目前因果人工智能的重点研究方向主要有两个：一是因果发现，挖掘出数据中变量之间的因果关系，让模型可以给出更加稳定与可靠的解释；二是因果效应的估计，评估原因变量对结果变量的影响，以提高人工智能预测和决策的准确性。
如果揭示了机器学习的因果过程，一定程度上也就让人工智能变得可解释、透明、可信。包括“因果之梯”在内，人类打开人工智能“黑匣子”的进程刚刚开始，当前人工智能还远说不上“可信”。
1960 年，控制论创始人维纳写道：“为了有效避免灾难性后果，我们对于我们制造的机器的理解应该总体上与机器的性能发展同步。由于人类行动缓慢，我们对机器的有效控制可能会失效。等我们能够对感官传递来的信息做出反应，并停下正在驾驶的车时，它可能已经撞到了墙上。”今天，随着机器变得比维纳所能想象到的更加复杂，越来越多人开始认同这种观点。
