和OpenAI分道扬镳以后，Ilya“神秘而伟大”的事业终于揭开了面纱。

6月20日，前OpenAI焦点首创人 Ilya Stuskever，在官宣去职一个月后，Ilya在社交媒体平台公然了最新的动向：将确立新的实验室Superintellgence（以下简称SSI），构建平安的超级智能。

▲图源：社交媒体X截图

这个名，明眼人一看就知道是冲着OpenAI去的。

2023年12月，在OpenAI十年的Ilya官宣去职引起了整个AI圈的轩然大波。虽然去职的详细缘故原由扑朔迷离，但在Ilya去职前后，OpenAI认真模子平安的由Ilya主导的超级对齐(Superalignment)实验室宣布遣散，外界纷纷推测，Ilya一直以来的理念是郑重地生长人工智能，与Altman大刀阔斧地推进手艺的战略相左。

而SSI，首先坚持了OpenAI成为非营利组织自力实验室的初衷，其次践行了Ilya一直以来对模子平安的郑重态度。而且Ilya还弥补道：我们将以一个焦点、一个目的、一个产物，直接追求平安的超级智能。

▲图源：社交媒体X截图

住手发稿前，Sam Altman并未回应，并没有让吃瓜群众们预想的“Altman假惺惺的示意祝福”成真。

而之以是业内云云重视Ilya在这个节点确立SSI，并不只是由于这小我私人，更是大模子的生长已经到了不起不重视模子平安的主要节点。

在刚刚已往的北京智源大会上，杨植麟、张鹏等一线创业者也曾讨论过这个问题，我们对模子平安的重视水平远远小于它的主要水平，而SSI的确立，或许会开拓一条与OpenAI完全相反的路。

用Ilya的眼睛，看AI的危险 

似乎Ilya对模子平安是执拗的，甚至被人暗指“没需要”。“若是不是由于他是OpenAI的手艺首脑，曾一手打造了GPT、DALLE-E等明星产物，SSI基本不会受到云云大的关注。”

但他们却忽略了，Ilya对人工智能手艺的主要性，并不是从OpenAI最先的，而是从他的先生辛顿就奠基了他的话语权。

从80年月就最先战斗在人工智能最前线的辛顿，被誉为“深度学习之父”。作为教授的他桃李满天下（包罗吴恩达），在他年轻一代的学生中，Ilya是最自满的学生之一。

2023年5月初，辛顿辞去他在谷歌担任了十多年的职位，示意作出这个决议是为了可以自由讨论“人工智能的危险”。往后，他频仍接受媒体采访，竭尽全力地对人工智能可能操作人类发出警报。

只管人类可以赋予人工智能一些伦理原则，但辛顿仍然感应主要，“由于到现在为止，我还想象不到更智能的事物被一些没它们智能的事物所控制的例子。打个譬喻，假设田鸡缔造了人类，那么你以为现在谁会占有自动权，是人，照样田鸡？”

师从辛顿的Ilya，险些完全继续了被辛顿“蒸馏”过的，对于人工智能的郑重，以及在郑重之下的战战兢兢。

Ilya之于OpenAI，许多网友都以为他的小我私人孝顺要大于Sam Altman。若是说SamAltman是OpenAI的体面，那Ilya就是OpenAI的里子，或者说是手艺灵魂。

私底下的Ilya很内向但却并不胆怯。他之以是云云，许多人好奇，他作为影响这个天下手艺变化的人，一定看到了什么。

但却没有人知道。

Ilya在OpenAI打造的超级对齐实验室，目的就是为了通过可控的手艺手段使得AI生长的路径可控，确保AGI的生长相符人类利益。

一些前OpenAI员工透露,Ilya对超级对齐实验室的事情异常重视，并亲自介入其中。他希望通过这一实验室的事情，为未来的AGI系统设计出可靠的对齐方案。

想要明白作甚“超级对齐”，就要演示一下现在的对齐手艺，通过RHLF注入，能够实现两种对齐：一种是价值观的对齐：好比不要确立男女的性别对立、不要歧视同性恋等等；另一种是话题层面的对齐：明确国家的界限、不让搞黄色、不能诈骗等等。但Ilya所谓的超级对齐，却并不是这么简朴。

有人还记得人工智能的三原则么？

其中之一即是“无条件遵守人类”，而价值观和话题的对齐是远远不足以完成这个目的的，Ilya他以为手艺的本质类似于人类的生物进化，若是进化的最先，是一个没有“无条件对人类的爱”的 AI，那等它长成AGI以后，也一定不能控。

对应了他在X中揭晓的：直接追求平安的超级智能。

没错，超级对齐的本质实在是通过让大模子发生“对人类无条件的爱”。

这听起来似乎很扯淡，但或许SSI的本质就是云云。

人，AI平安的最后一道防线

鼎科医疗完成数亿元E轮融资，加强制造中心和商业化建设

那么问题来了，大部门人做不到。

是的，可能大部门公司都是OpenAI而非SSI。那么除了大模子公司在内部致力于构建一个平安、可信的大模子之外，这两年随着手艺和应用的生长，社会各界也对AI和大模子的平安作出了许多起劲。

2021年11月，团结国教科文组织就曾通过《人工智能伦理问题建议书》，希望为人工智能的生长，以及预防其潜在风险提供建议。

今年3月份，团结国教科文组织总做事奥德蕾·阿祖莱还在公然呼吁，希望各国尽快实行这项建议，为人工智能生长设立伦理尺度。

而随着中国AI大模子的蓬勃生长，中国企业也越来越多地介入到了这类国际AI平安准则的制订中。

比现在年4月在日内瓦召开的团结国科技大会上，天下数字手艺院（WDTA）宣布了《天生式人工智能应用平安测试尺度》和《大语言模子平安测试方式》两项国际尺度。

而这两项尺度，由来自百度、腾讯、蚂蚁团体、科大讯飞等众多中国企业的专家学者配合介入体例而成。

在国际组织通过体例规范指导AI平安生长的同时，各地政府的法案也在相继落地。

5月21日，欧洲的《人工智能法案》正式获得了欧洲理事会的批准。这项法案最早由欧盟委员会在2021年提出，作为全球*AI法案，它通过构建普遍适用的人工智能羁系机制，为人工智能手艺的生长提供了执法框架，为全球的AI羁系提供了可借鉴的执法基础。

海内AI平安相关的政策则落地在2023年7月，国家网信办团结国家发改委、工信部等七部门，宣布了《天生式人工智能服务治理暂行设施》，该设施就天生式人工智能可能面临的平安问题提出了一系列明确的约束规范。

固然，执法划定的社会的下限，大模子平安的上线仍然需要在产业界寻找谜底。

我们前面提到，大模子在公司内部训练的历程中，需要通过数据、算法、学习框架等多个维度保证大模子的平安可靠。点击阅读《》‍

但其着实公司外部，完成训练的大模子要推向市场，还存在一套由第三方完成的大模子平安测试评估框架，现在主流的平安性测评方式主要有牢靠数据集测评和红队模子测评两类。

2023年，OpenAI在GPT-4宣布之前就曾对其举行了六个多月的评估、测试及改善。在这轮测试中，OpenAI就约请了AI领域专家介入红队测试（Red Teaming）以识别平安风险。

牢靠数据集测评，则是由研究职员针对大模子的各种平安风险制订风险评估矩阵，类似绩效审核打分。

研究职员通过人类标注数据的方式采集平安性评估数据，然后以测试模子在这些数据集上的显示评估模子的平安水平。

2023年底，OpenAI在官网宣布了名叫“Preparedness Framework”的平安评估框架，是这类牢靠数据集测评的范本之一。

▲OpenAI平安评估模子的计分卡，图源：OpenAI官网

在海内，清华大学盘算机系的黄民烈研究团队在2023年3月就宣布了大模子平循分类系统，该团队从系统层面和模子层面出发，打造更可控、可信的大模子平安框架，是海内较早介入到模子平安评估系统的团队之一。

除此之外，蚂蚁平安实验室也推出了大模子平安检测平台“蚁鉴2.0”和大模子风险防御平台“天鉴”两大产物。

在详细能力上，风险监测平台可以诊疗检测、定位问题；风险防御平台可以对风险举行防治。

好比在大模子天生可控问题上，蚂蚁平安实验室提出了如通过SFT、RLHF/RRHF、RLAIF等手艺和高质量标注做人类对齐；在图像方面做风险抑制，举行可控调试；为大模子外挂万万级平安知识库天生和检索等等方式。

在模子层面的问题之外，使用模子带来的平安问题也同样主要。

6月11日，苹果在WWDC上推出了其全新的 AI 系统“Apple Intelligence”。为了珍爱用户隐私和数据平安，苹果将大模子的事情分为两类。

其中简朴的义务在手机装备端执行，保证数据不脱离手机。若是是需要挪用云端算力的庞大义务，苹果打造了一套具备芯片级别隐私和平安珍爱的服务器——“Private Cloud Compute”。这套服务器可以实现加密传输，服务器只识别数据，不网络数据，且在义务完成后，该数据也会被立刻删除。

其中要害的一点是，Apple Intelligence集成了GPT-4o作为第三方大模子支持。为了保证数据平安和用户的知情权，苹果设置Siri启用Chat GPT时会向用户提出申请。

也就是说，在苹果的平安框架里，虽然企业会做好一切前期准备，但用户自己才是平安提防的最后一道防火墙。

就像OpenAI一直都在官网提醒用户，“在使用 GPT-4 输出的内容时应格外小心，稀奇是在高风险场景下（如医学、化学等领域），需要人工核查事实准确性或者阻止使用 AI 给出的谜底。”

以是，虽然身处AI时代，工具已经云云壮大，但在一切工具停当之后，我们仍应记着，我们自己才是珍爱自己的最后一道防线。