硅谷的年度大戏《真还传》结束了,不过相关的消息依然引人关注。17日,2023年APEC峰会在旧金山结束,奥尔特曼在会上曾暗示,OpenAI正致力于比现在最新版GPT-4更强大、远远超出人们期待的产品,第二天他就被解雇了。另有一封据称发给董事会的警告信也显示,OpenAI的某个大模型内部已实现重大飞跃。据路透社援引知情人士消息,这封信是首次披露,也是导致OpenAI董事会最终决定罢免奥尔特曼的重要原因之一。
OpenAI的CTO,第一任临时CEO米拉·穆拉蒂(Mira Murati),在周三提到了这个名为Q*(读作Q-Star)的项目,并且在“政变”发生之前就给董事会写过一封信。董事会由此生疑,认为奥尔特曼在瞒着董事会推进可能有威胁的项目。同时也有内部研究员认为,OpenaAI在Q*上取得的进展,将会成为AGI的一个重要突破,比现在的最新版GPT-4更接近目标。不过很快的,TradingStrategy.ai联合创始人米克·奥塔马表示,“重大突破”这个说法已被OpenAI内部人士打假。
除了米拉的信,印证Q*项目的另一事件是奥尔特曼在APEC一次会议上的发言。他暗示OpenAI已经开发出了比GPT-4更强大、更难以想象的东西,远超人们的期待。“大模型的能力将会有一个无人预料到的飞跃,与人们的预期不同,这个飞跃是惊人的。当前正在发生的技术变革将彻底改变我们的生活方式、经济和社会结构,以及其他一切可能的限制……这在OpenAI的历史上有四次 ,而最近一次就是在过去几周内。在拨开无知的面纱和探索未知的边界时,我有幸在场,这是我职业生涯中的荣幸。”发言后的第二天他就被OpenAI董事会踹了,两件事前后脚的发生,很难说其中没有关联。或许有人会说奥尔特曼是泄露了自家的机密,但OpenAI董事会中“不够坦诚”的说法,明显是在说奥尔特曼阳奉阴违,背着董事会而推进项目。尽管现在看“不够坦诚”更像是欲加之罪。
OpenAI的一位发言人表示,这条消息由CTO米拉发送,提醒员工在面对媒体报道时注意措辞,但对其准确性则不置可否。另有消息指出,在OpenAI内部看来,AGI可以定义为“在最具经济价值的任务中,超越人类的自主系统”。
因为巨大的算力支持,新款大模型可以解决某些数学问题。虽然不过是些小学水平的数学题,但通过这样的测试,让研究者对Q*的未来非常乐观。根据内部人士的透露,在这封给董事会的信中,研究人员还标记了AI的实力和潜在危险性,但没有具体说明信中提到的确切安全问题。另外研究人员还标记了一个名为“AI科学家”团队的工作,此前已有多个消息证实了该团队的确存在。
一些OpenAI员工认为,奥尔特曼的言论应该指的是公司早些时候的一些创新性研究,而也就是这些创新,能让他们开发出日益强大的GPT大模型。这项工作由首席科学家伊尔亚团队主导,此前从未被报道过,也的确引起了一些员工的担忧。他们担心公司目前没有合适的保障措施,确保这种先进的技术可用于商业化。在之后的几个月里,OpenAI的高级研究人员又利用这项创新,建立了能够解决基本数学问题的系统。
根据The Information报道,Q*其实是OpenAI的两位研究员,雅格和西蒙,利用伊尔亚的工作成果建立的大模型,能够解决它以前从未见过的数学问题,而这可是一个重要的技术里程碑。经常用大模型的人都知道,现在的大模型虽然普遍能说会道,但数学题从来都是一项艰巨的任务。六月时用国内外主流大模型做十道高考数学题,GPT-4能对五道已经是最好的成绩了,尤其是在对比那些发布会上的“遥遥领先”,最终却是十道题全错的结果时。
最近几周内,Q*的演示一直在OpenAI内部流传,而AI自身飞快的发展速度,也时常令安全研究人员惊掉下巴。不仅如此,Q*的这些突破也使OpenAI在训练新款大模型时可以不再受限于保质保量的数据不足,而这正是困扰全球开发者,在攻克下一代大模型时的主要障碍。
伊尔亚作为OpenAI的首席科学家,多年来一直在研究如何让GPT-4解决涉及推理的任务,比如数学或科学问题。在加入OpenAI前,还在谷歌DeepMind的伊尔亚就在这个方向努力了多年。2021年,他启动了一个名为GPT-0的项目,这是对老东家AlphaGo Zero(阿尔法狗-0)的致敬,而阿尔法狗-0是阿尔法狗的最后版本。不仅围棋,它也可以下国际象棋和将棋。而当时DeepMind团队假设,只要给大模型足够多的时间和算力,它们一定能在有朝一日实现新的学术突破。尤其是针对当前大模型亟待提高的数理和推理能力时,未来有可能会有极大提升。此后不久,伊尔亚就在马斯克的鼓动下加入了OpenAI。
虽然在昨天奥尔特曼重返CEO之位后,《真还传》也告一段落,但OpenAI高管间的矛盾似乎仍未消除,而且也可能延续许久。究其原因,主要是因为OpenAI内部对工作进度的紧张关系仍未缓解。伊尔亚本人素以聪明绝顶又人品正直著称,这点就连马斯克都赞誉有加,估计仍对这项技术持保留意见。今年夏天时他就组建了对齐团队,致力于限制AI系统可能给人类带来的威胁。
在伊尔亚主导的对齐团队看来,虽然超级AI还很遥远,但可能会在未来十年内实现。另外上周奥尔特曼被解雇后,有几人也迅速辞职。而昨天奥尔特曼回归后,这些人也随之回到了OpenAI公司。而OpenAI董事长兼联合创始人布罗克曼,对于这项技术也持支持态度,致力于将其整合到新产品中。他和奥尔特曼也很铁,“今晚就写代码”正是昨天的发言。
未经允许不得转载:澳鸟-全球资讯平台 » OpenAI新款大模型:全新能力甚至危及自身