5000字详解OpenAI超级对齐四年计划：定义、挑战与方法 (qq.com)

针对AI值观不对齐的风险,Google Brain的研究员扬·雷克博士提出要实现AI系统的“超级对齐”。所谓超级对齐,就是要求AI系统能够在各种复杂环境下,自发推导出符合人类价值观的行动方针。与简单的“把人类价值观硬编码进AI系统”不同,超级对齐需要AI自主推理人类的终极价值目标,在不同情形下做出判断,而不是单纯依靠设计者提供的价值观模型。

超级对齐旨在构建一个能够与人类水平相媲美的自动对齐研究器。其目标是尽可能地将与对齐相关的工作交由自动系统完成。

btw. openAI 超级对齐团队在5.20日已经解散，公司不在单独成立这个团队。