Altman 等人认为，未来十年内，AI 系统有望超过专家水平，在大多数领域展现出与当今最大企业相当的生产能力。然而，超级智能技术带来的潜在利益和风险将比过去任何其他技术更加巨大。为了实现更加繁荣的未来，我们必须管理好超级智能的风险，并确保其与社会的顺利融合。

超级智能的治理

考虑到我们当前所看到的情况，可以想象在接下来的十年内，人工智能系统在大多数领域将超过专家水平，并且能够执行与今天最大的企业相当的生产活动。

从潜在的优势和劣势来看，超级智能将比人类过去所面对的其他技术更为强大。我们可以拥有一个更加繁荣的未来，但我们必须管理风险才能实现这一目标。鉴于存在灭绝性风险的可能性，我们不能仅仅是被动应对。在具备这种特性的技术中，核能、合成生物学都是常用的例子。

我们必须减轻今天的人工智能技术风险，但超级智能将需要特殊的处理和协调。

起点

对于我们来说，有许多理念能够帮助我们更好地把握这一发展方向。在这里，我们初步提出了我们对其中三个问题的思考。

首先，我们需要在主要发展努力之间进行一定程度的协调，以确保超级智能的发展以一种既能确保安全，又能有助于将这些系统与社会进行顺利整合的方式进行。这可以通过多种方式实施；全球各主要政府可以设立一个项目，让许多当前的努力成为其中的一部分，或者我们可以达成共识（在像下文提到的那种新组织的支持下），将前沿人工智能能力每年的增长速度限制在一定速率内。

当然，个别公司应该被要求以极高的标准行事，履行责任。

其次，我们可能最终需要类似国际原子能机构（IAEA）的机构来监管超级智能方面的工作；任何超过一定能力（或计算资源等）门槛的努力都需要受到国际机构的监督，该机构可以检查系统、要求进行审计、测试产品是否符合安全标准，对部署程度和安全级别进行限制等等。追踪计算资源和能源的使用情况可以在很大程度上帮助我们实现这一想法。

第一步，公司可以自愿同意开始实施该机构某一天可能要求的要素；第二步，各个国家可以实施。重要的是，这样的机构应该专注于降低灭绝性风险，而不是解决应该由各个国家决定的问题，比如定义人工智能应该允许说些什么。

第三步，我们需要具备使超级智能系统安全的技术能力。这是一个开放的研究问题，我们和其他人都在付出很多努力来解决这个问题。

监管范围

我们认为，允许公司和开源项目开发低于重要能力阈值的模型是很重要的，他们不需要我们在这里描述的那种监管（包括繁琐的许可证或审计等机制）。

当前的系统将为世界创造巨大的价值，尽管它们确实存在风险，但这些风险的水平似乎与其他互联网技术相当，并且社会的应对方式似乎是适当的。

相比之下，我们所关注的系统将拥有超越目前任何技术的力量，我们应该小心，不要通过将类似的标准应用于远远低于这一水平的技术来削弱对它们的关注。

公众意见及潜力

然而，对于最强大的系统的治理以及它们的部署决策，必须进行严格的公众监督。我们认为，全世界的人们应该民主地决定 AI 系统的范围和默认设置。我们尚不清楚如何设计这样的机制，但我们计划对它的发展进行试验。我们仍然认为，在这些广泛的范围内，个体用户应该对所使用的 AI 的行为有很大的控制权。

考虑到风险和困难，为什么要构建这项技术是一个值得思考的问题。

在 OpenAI，我们有两个基本出发点。首先，我们相信超级智能将带来一个比我们今天所能想象的世界更美好的未来（我们已经在教育、创造性工作和个人生产力等领域看到了早期的例子）。世界面临着许多需要我们更多帮助才能解决的问题；这项技术可以改善我们的社会，每个人使用这些新工具的创造能力肯定会让我们大吃一惊。经济增长和生活质量的提高将令人震惊。