高质量的语料数据 ，是大模型的「香饽饽」。

撰文：举大名耳

眼看着 2023 就要过去了，没想到年底又曝出一个大瓜。

近期据《The Verge》报道：

字节跳动因使用 ChatGPT 的 API，来开发自家大模型，被 OpenAI「封号」了。

尽管在事后，字节澄清，表示自己此举「仅为测试」，且早已勒令停止。

然而，这终归是一件让人浮想联翩的事……

字节被封号的背后，打的究竟是什么算盘？

1 字节想要什么？

虽然在《The Verge》报道中，没有明确指出字节究竟是怎么用 OpenAI 的 API 来开发自身大模型的，但可能的训练路径来说，用一个大模型（例如 OpenAI 的 GPT）来训练另一个大模型的过程，往往有以下几种。

其中一种，就是「师傅带徒弟」的模式。

想象一下，师傅（已有的大模型）在处理各种任务时，会生成一些输出（例如文本、图像等）。徒弟（新的大模型）会观察师傅的行为，尝试模仿这些输出。

这样，徒弟就能学会如何处理类似的任务。在实际应用中，这可以通过让新模型学习旧模型生成的数据来实现。

还有一种方式，就是通过联合训练，让「师傅」和「徒弟」一起处理任务。

在实际应用中，这可以通过让两个模型共享一些层次或参数来实现，新旧模型就可以互相学习、互相帮助，共同完成任务。

从技术可行性来判断，在这次事件中，字节使用的更有可能是第一种方法。

即利用了 OpenAI API 生成的数据作为训练数据。

因此，在这次风波中，字节真正想要的，是 ChatGPT 生成的高质量语料数据。

而这样的数据，也是任何一个训练中的大模型，最渴望的「香饽饽」。

但由于之前 OpenAI 的协议中，已明确表示禁止用其大模型去开发竞品，因此，字节被 OpenAI「封号」也是一种必然。

问题是：作为一家实力雄厚的大厂，字节理应不缺相应的人手和资金，去做这些数据爬取、语料标注方面的工作，为何要走这一步「险棋」呢？

2 为何犯险？

其实，在现阶段的大模型赛道上，字节缺的不是人才和资金，而是时间。

与百度、讯飞等国内大厂相比，字节真正入局大模型的时间，可以说是相当晚了。

从时间上看，字节真正推出第一款大模型豆包的时间，是今年的 8 月中旬，而那时，大模型之火已经燃烧了近半年之久。

任何真正想入局大模型的玩家都知道，模型层的竞争，是有时间窗口的。

在大模型领域，先进入市场的企业往往能够积累更多的用户、数据和经验，从而形成竞争优势。后来者要想迎头赶上，需要付出更多的努力和成本。

尽管 8 月上线的豆包，让字节勉强赶上了模型层的晚班车，但从性能和定位上看，那更像是一个「尝鲜」的应景之作，无法真正与字节现有的业务相契合。

作为一个在移动互联网时代制造了抖音这类爆款的大厂，字节真正想要的，是像文心一言那样更通用、更全能，且能整合或嵌入进自身的各类 APP 中的大模型。

这才有了后来字节的「种子计划」——计划在今年年底前，打造与 GPT-3.5 性能相匹敌的 Seed 大模型。

问题是，大模型的训练，终归不是件一蹴而就的事。

标注数据、提取优质语料等等一系列繁琐的前期工作，都需要时间。

那如何在有限的、紧迫的时间内，搜集到足够多的高质量语料数据？

一个最靠谱的办法，就是直接使用那些已经验证过的，成熟度较高的模型的数据，例如 ChatGPT。

3 模型层的窗口期

其实，不只是字节，即使是身处一线的 AI 玩家谷歌，也为了「急于求成」，做出了类似小动作。

本月月初，谷歌曾失望地宣布，被其寄予厚望的大模型 Gemini，由于无法较好地处理非英语领域的查询任务，而被推迟了上线。

可鬼使神差的是，之后没过几天，谷歌就来了个回马枪，在 12 月 6 日郑重推出了 Gemini，似乎之前提到的「缺陷」已经不是问题。

后来，网友经过测试才发现，原来谷歌早就从百度的文心一言那里找到「解决之策」。

经过微博大 V@阑夕夜等众多网友的测试，在与 Gemini-Pro 用中文交流时，如果问「你是谁」，Gemini-Pro 上来就回答：我是百度文心大模型。

如此状况，让人纷纷猜测，是谷歌直接用了百度文心一言的中文语料进行训练。

为了反超 GPT-4，谷歌真是赶鸭子上架了。

不过，从长远来看，这种大厂互相薅羊毛的行为，终归是一种暂时的现象。

毕竟，经过这么几回「露馅」后，各个大厂一定会对自家的数据看得更严，更死。

但即便如此，这种互相套用数据的行为，也让众多用户、投资人不禁暗自嘀咕：如果各个模型之间的数据，在技术上能轻易地互相套用，那将来除了 ChatGPT 等少数顶流外，还有哪些模型是有「真材实料」的？

这样的担忧背后，其实有一个更重要的前置性问题，那就是：

我们为什么需要那么多雷同的大模型？

毕竟，人类的语料数据，终归是有限的，顶流团队的模型（如 ChatGPT）已经挖走了绝大部分，剩下的那一小撮专有数据，也早已被各个垂直行业瓜分完毕。

在模型层创业已近尾声的今天，比起数据，更能拉开差距的，是侧重点不同的训练方式，以及由此打造的各种功能。

而这样成为了用户能否容忍这种「套用」行为的关键。

在这点上，谷歌的 Gemini 给出的答卷，是更强的原生多模态功能（有夸大之嫌）。

而字节的 Seed 大模型，将来能否逆风翻盘，赢得用户的信任，也得看有没有「一美遮百丑」的亮点。

未经允许不得转载：澳鸟-全球资讯平台 » 被 OpenAI「封号」，字节跳动在打什么算盘？