2021 年的时刻，一位基金司理在 Discord 上找到了人在德国的高中先生克里斯托夫·舒曼。

基金司理愿意肩负舒曼开源项目的所有云盘算成本，没有任何附加条件。

一最先舒曼不敢信托会有这样的好事，直到几周之后，他获得了 AWS 云端 GPU 的接见权。

他的项目是 LAION，天下上*的免费 AI 训练数据集。

那位基金司理名叫 Emad，他开办了 Stability.AI，开启了 AIGC 的时代。

开源万岁。

以下内容泉源 Bloomberg，GPT 翻译的，Founder Park 做了些细小的校对。

在德国汉堡郊区的一所郊区屋子前，单词「LAION」用铅笔潦草地写在邮箱上。

这是一个重大的数据网络事情的背后人物，这个事情是人工智能潮水的焦点，并引发了一个越来越猛烈的关于若何羁系它的争议。

这小我私人是高中西席克里斯托夫·舒曼（Christoph Schuhmann），而 LAION 是他的热情项目。当舒曼不是在向德国青少年教授物理和盘算机科学时，他与一小队自愿者一起确立了天下上*的免费 AI 训练数据集，已经被用 AIGC，如谷歌的 Imagen 和 Stable Diffusion。

像 LAION 这样的数据库对于 text2image 的 天生式 AI 模子异常主要，它们依赖于它们来解构和确立新图像所需的大量视觉质料。这些产物的首次亮相是一个范式转移事宜：它将科技行业的人工智能竞赛推向了*，但也引发了许多道德和执法问题。

在几个月内，针对天生式 AI 公司 Stability AI 和 Midjourney 的版权侵权诉讼频发，指斥者对其中暴力、性化和其他问题图像的数据集发出警报，他们指责这些数据集包罗了险些不能能解决的私见。

但这并不是舒曼的关注点，他只想让数据自由。

01

40 亿美元 → 零收益

这位 40 岁的先生和受过演员训练的人，两年前在一个 AI 兴趣者的 Discord 服务器上确立了 LAION。OpenAI 的*版 DALL·E 是一个深度学习模子，用于响应文字 prompt 天生图片，例如，按要求确立一个粉色鸡坐在沙发上的图像。

舒曼受到启发，但也忧郁它会激励大型科技公司使更多数据专有化。

「我马上明了，若是这个只集中在一个、两个或三个公司，对社会的影响将异常糟糕，」舒曼说。

作为回应，他和服务器上的其他成员决议确立一个开源数据集来辅助训练 t2i 扩散模子，这是一个类似于用数百万张闪卡向某人教授一种外语的几个月的历程。该组使用由加利福尼亚州非营利组织 Common Crawl 网络的原始 HTML 代码来定位网络上的图像并将其与形貌性文真相关联。它不使用任何手动某人工谋划。

几周后，舒曼和他的同事拥有了 300 万张图像文本对。三个月后，他们宣布了一个含有 4 亿文本标注图片的数据集。现在，这个数字已经跨越了 50 亿，使 LAION 成为*的免费图像和标注数据集。

随着 LAION 的声誉不停提高，团队一直在无偿事情，2021 年获得了机械学习公司 Hugging Face 的一次捐赠。然后有一天，一位前对冲基金司理进入了 Discord 谈天室。

Emad Mostaque 自动提出肩负盘算能力的用度，没有任何附带条件。他想要启动自己的开源天生式 AI 营业，并盼望行使 LAION 来训练他的产物。团队最初冷笑这个提议，以为他是一个疯子。

舒曼说:「我们一最先异常嫌疑，但经由周围左右，我们获得了云端的 GPU 资源，这些资源通常的用度约为 9000 美元或 10000 美元。」

当 Mostaque 在 2022 年开办 Stability AI 时，他使用了 LAION 的数据集来训练 Stable Diffusion，并招聘了该组织的两名研究职员。一年后，Stability AI 现在正在追求 40 亿美元的估值，这在很洪水平上得益于 LAION 提供的数据。

舒曼没有从 LAION 中赚钱，他对此不感兴趣。「我仍然是一名高中先生。我拒绝了种种公司的事情约请，由于我希望它保持自力。」

02

数据集就是

AI 时代的石油

二手车服务商「真橙汽车」获5亿战略融资，顺恒资本投资

像 LAION 这样的数据库中的许多图像和链接，一直以来都明目张胆地存在于网络上，有些甚至已经存在数十年之久。

它需要 AI 的兴起才展现出它的真正价值，由于数据集越大且越多样化，其中的图像质量越高，AI 天生的图像就会越清晰、更准确。

这一认知反过来又引发了许多执法和伦理问题，即公然可用的质料能否用于填凑数据库——若是谜底是一定的，那么创作者是否应该获得待遇。

为了确立 LAION，首创人们从 Pinterest、Shopify 和 AWS 等公司中获取了视觉数据——这些公司并未就 LAION 使用它们的内容是否违反了其服务条款揭晓谈论。还包罗来自 YouTube 缩略图、DeviantArt 和 EyeEm 等作品集平台的图像、来自包罗美国国防部在内的政府网站的照片，以及来自新闻网站如《逐日邮报》和《太阳报》的内容。

若是你问舒曼，他会说任何在网上免费提供的器械都是公正竞争的。但现在欧盟还没有 AI 羁系，即将宣布的 AI Act，其语言将在今年炎天早些时刻确定，也不会划定版权质料是否可以包罗在大型数据集中。

相反，立法者正在讨论是否包罗一项划定，要求 AIGC 背后的公司披露其产物训练所使用的数据集中包罗了哪些质料，从而给这些质料的创作者提供接纳行动的选择。

欧洲议集会员 Dragos Tudorache 告诉彭博社，这一划定背后的基本头脑很简朴：「作为天生式 AI 的开发者，你有义务纪录和透明地披露你在算法训练中使用的版权质料。」

这种划定对于 Stability AI 不是问题，但对于其他 t2i 模子可能会带来问题「没有人知道 Open AI 现实上用来训练 DALL·E 2 的是什么，」舒曼说，以此作为手艺公司封锁公共数据的例子。这也将推翻现有的数据网络现状。

「在这个领域中，老例是假定您不需要赞成或不需要通知人们，或者他们甚至不需要知道这一点。人们有一种自以为拥有权力的感受，即无论网上有什么，您都可以爬取并将其放入数据集中，」Mozilla 基金会值得信托的 AI 高级研究员 Abeba Birhane 说道，他已经研究了 LAION。

只管 LAION 没有直接被起诉，但它已被列为两起诉讼的被告：一起指控 Stability 和 Midjourney 违反 DMCA 版权法和民众权力法，违法竞争和违反 TOS，使用艺术家的版权图片来训练其模子，另一起是由盖蒂影像公司针对 Stability 提出的，指称 LAION 爬取了其 1200 万张图片用于训练 Stable Diffusion。

由于 LAION 是开源的，因此不能能知道有若干其他公司使用了该数据集。谷歌已经认可它行使 LAION 辅助训练其 Imagen 和 Parti AI 文本到图像模子。舒曼以为其他大公司正在悄悄地这样做，只是不会披露。

03

互联网的漆黑面

当他的儿子玩《Minecraft》时，舒曼坐在客厅里，将 LAION 比作「大信息手艺海啸」上的「小型研究船」，采集下面的样本并展示给天下看。

「这只是互联网上公然的资源的一小部门，」他说到 LAION 的数据库，「由于纵然是我们这样的人，只有来自捐赠者的 1 万美元的预算，也能够获得它。」

然则，公然的并不总是民众想要的，或者是正当允许看到的。除了猫和消防车的平安图片，LAION 的数据集还包罗了数百万张色情、暴力、儿童裸体、种族主义梗、愤恨符号、版权艺术和从私人公司网站上抓取的作品。

舒曼示意，他不知道 LAION 的数据集中是否有儿童裸体照片，只管他认可他没有深入审查数据。若是获得这样的内容通知，他说，他将立刻删除与之相关的链接。

在最先组装数据库之前，舒曼咨询了状师并运行了自动化工具来过滤非法内容，但他对于洗濯 LAION 的数据并不感兴趣，而是希望从中学习。

「我们可以从宣布的数据中过滤出暴力内容，」他说，「但我们决议不这样做，由于它将加速暴力检测软件的开发。」LAION 提供了一个撤下表格以请求删除照片，然则该数据集已经被下载了数千次。

从 LAION 中提取的攻击性内容似乎已经整合到了 Stable Diffusion 中，只管最近已经增强了过滤器，但很容易天生假的伊斯兰国斩首照片或大屠杀图像。

一些专家以为，这样的质料也可能在 AI 模子自己内部发生私见：纵然文本提醒没有示意主题的种族，像 Dall·E-2 和 Stable Diffusion 这样的工具也因复制种族刻板印象而受到指斥。

这些私见是谷歌决议不宣布经由 LAION 训练的 Imagen 的缘故原由。

当被要求揭晓谈论时，Stability AI 示意，它在 LAION 数据库的一个谋划子集上对 Stable Diffusion 举行了训练。该公司在一封电子邮件中写道，它试图「为该模子提供比原始 SD 更多样化和普遍的数据集」，并实验使用「LAION 的 NSFW 过滤器」删除「成人内容」。

纵然是基于开源的人工智能的支持者也忠告说，在未加筛选的数据集上训练人工智能的影响。

凭证 Hugging Face 的机械学习和社会团队认真人 Yacine Jernite 的说法，基于有污点的数据的天生式 AI 工具将反映其私见。「模子是它所训练的内容的异常直接的反映。」

Jernite 弥补说，在产物运行后引入防护栏是不足够的，由于用户总是会找到规避平安措施的方式。他们说：「当你拿一个训练有素的模子来模拟人们在互联网上的行为，并说：『好的，但不要这样做。』人们会找到一种方式来让它仍然这样做。」

数据非营利组织 Common Crawl 的首创人吉尔·埃尔巴兹（Gil Elbaz）嫌疑「不能从训练集到生产之间画一条直线」，并将该历程比作一个去博物馆寻找灵感但被阻止复制艺术品的艺术家。他说，「主要的是社会决议哪些用例是正当的，哪些用例是不正当的。」

这不仅仅是由社会决议。随着欧洲羁系机构制订人工智能使用律例，他们正在起劲应对的事实是，现在人工智能热潮正在挖掘的数据多年来一直处于执法灰色地带，而这一现状现在才受到严重审查。欧洲议会成员图多拉切 (Tudorache) 说：「没有多年的数据积累，人工智能不能能到达这种庞洪水平。」

但在舒曼的眼中，应该监控的不是数据集。在他看来，人工智能的最坏情形是大型科技公司通过为羁系框架定制工具来倾轧开发职员。「若是我们试图放慢速率并太过羁系，」他忠告说，「最终的风险是只有少数大型企业玩家能够肩负所有正式要求。」