搜索
三次误判后,扎克伯格这次终于做对了|甲子光年
作者:甲子光年 编辑:栗子 2023-09-04

Meta没有错过大模型。


作者 | 李晗 刘杨楠

编辑 | 栗子


“今天,我们一起发起了一场运动。”

2007年5月24日下午3点,在Facebook第一次开发者大会上,年轻的扎克伯格向台下上千名开发者发出一则“革命宣言”。这是扎克伯格第一次在公众场合上台演讲,他在台下把这句开场白练习了无数遍。

当时,Facebook已经从校园走向社会,面向所有互联网用户开放,一举站上社交媒体金字塔尖的宝座。但扎克伯格不满于此,他开始尝试触达计算机世界更高的宝座——操作系统。

Facebook将其开发者大会命名为F8,指代Facebook经常会举办的“通宵黑客马拉松活动”——将工程师们聚在一起,用8个小时完成一个不切实际的想法。同时,F8的英文发音和fate(命运)相似,仿佛暗藏了扎克伯格认为Facebook命中注定将成为时代霸主的野心。

但遗憾的是,决定开发操作系统后的十几年里,Facebook定下的大计划几乎没有一次能圆满完成——社交媒体操作系统折戟;错过移动互联网的先机;在元宇宙的一片虚火中全力押注,最终血本无归。这家曾经的社交媒体巨头在一次又一次误判中跌落尘埃。

今天,Meta又找到了“AI”这根救命稻草,并已经开始看到曙光。

7月,Meta发布了2023年Q2季度财报,多项数据超市场预期。财报显示,Meta在2023年Q2季度中,总营收为320亿美元,同比增长11%;Q2季度每股收益为2.98美元,同比增长21%,创2021年四季度以来新高;净利润为77.88亿美元,同比增长16%。这是Meta自2021年四季度以来,营收增长幅度首次达到两位数。

但坏消息是,元宇宙给公司带来的亏损仍在扩大。 据财报显示,元宇宙所在的Reality Labs(现实实验室)部门,在2023年Q2季度亏损达到37.3亿美元,Q1季度亏损额达39.92亿美元。 Meta的元宇宙部门已经连续两年亏损百亿美元以上,2022年共计亏损137.17亿美元,2021年亏损101.93亿美元。Facebook改名Meta之后,已经在元宇宙项目里亏损了约316亿美元,股价直接性损失了约三分之二。

Meta也在尝试将其大模型整合至原先的社交媒体产品矩阵中,但将AI植入社交媒体由此带来的财务增长或许并不是大模型最好的商业模式。可以说,此时此刻无论巨头还是创业者,都没有为大模型找到一个长久且行之有效的商业模式。

那么,Meta究竟能否凭借LLaMA重回巅峰?


1.“羊驼热潮”:一场来自Meta的反击


经过半年发酵,人们对大模型的狂热终于逐渐冷却,开始考虑“下一步”该怎么走。

学术界依然“岁月静好”,继续探索如何治好大模型胡说八道的毛病,以及大模型之外,人工智能还有哪些更值得想象的未来。

而商业世界就是另一番景象了。巨头们打得面红耳赤,生怕错过定义下一个时代的机会;创业者们削尖脑袋,拼命寻找尚未被巨头占领的处女地,试图出奇制胜。

但在围绕大模型的新一轮商业竞争中,Meta作为科技巨头却显得颇为“佛系”。

OpenAI去年11月底发布ChatGPT,但当时的Meta还因元宇宙血亏而身陷裁员阵痛。今年1月,Meta似乎才反应过来,着手训练更轻巧的语言模型LLaMA。

2月25日,Meta“不小心泄露”了LLaMA模型(英文中,llama译为“羊驼”)。LLaMA模型有70亿、130亿、330亿和650亿四种参数规模,训练语言高达20种。

在对比测试中,LLaMA模型在仅130亿参数规模上,就已经可以“在大多数基准上”胜过参数量高达1750亿的GPT-3,且能在单块V100 GPU上运行;而其650亿参数的模型已经可以媲美谷歌的Chinchilla-70B和PaLM-540B。

整个训练数据集在token化之后大约包含1.4万亿个token。其中,LLaMA-65B和LLaMA-33B是在1.4万亿个token上训练的,而最小的模型LLaMA-7B是在1万亿个token上训练的。

LLaMA给出了一条独立于GPT路线的新思路——更大规模的训练数据+更精巧的算法能够降低模型对参数和算力的依赖。

2022年3月,来自DeepMind的Jordan Hoffmann等人在论文《Training Compute-Optimal Large Language Models》中提出“Hoffmann定律”:用20倍于模型参数规模的训练数据来训练大模型,效果最好。而LLaMA模型的训练数据量正好约为参数规模的22倍。

LLaMA的出现已经让外界对Meta刮目相看。但所有人都没想到,Meta的大招还在后面。

时隔5个月,7月19日,Meta携手微软推出开源大语言模型LLaMA2。发布当天,扎克伯格在Facebook上传了一张和微软CEO萨蒂亚·纳德拉的合照。照片中二人面带微笑,甜蜜相拥,背后蓝天白云、绿草茵茵,一派祥和。有网友调侃道:“我想知道OpenAI感觉如何?”

图片来源:扎克伯格Facebook主页

Meta还发布了一篇长达76页的论文,详细说明了LLaMA2诞生的全过程,包括模型详细信息、训练阶段、硬件、数据管道和注释过程。NVIDIA高级人工智能科学家Jim Fan称赞这篇论文是“一部杰作”。至少从行动上看,Meta的开源很有诚意。

LLaMA2将“大模型应该开源还是闭源”的争论推向了高潮。

开源与闭源之争几乎伴随了整个计算机技术的发展历程。从PC时代的Windows与Linux之争,到移动互联网时代,苹果iOS与谷歌安卓二分天下,每一次开源生态崛起,都会带来一场市场的重新洗牌。

在美国大模型厂商中,谷歌是闭源阵营,OpenAI前期开源,后期迫于商业压力也转向闭源,以API付费的方式向开发者提供服务。

种种迹象表明,Meta发布的开源模型已经开始冲击闭源玩家。

LLaMA2发布一周内,Meta就收到了超过15次的下载请求,开源社区star数量直逼3万颗,基于LLaMA2微调的模型与插件也如雨后春笋般冒出。

同时,LLaMA2也降低了大模型私有化部署的门槛,很受企业欢迎。LLaMA2构建在Meta自己开发的PyTorch框架上,PyTorch可以大幅减小模型的体积,让模型变得更轻巧,极大降低了运行大模型的硬件门槛,个人用户甚至在普通电脑上也可以部署运行LLaMA2。

以上均得益于Meta对模型本身的精巧构思,而比模型设计更“精巧”的,是Meta对开源社区的深刻理解。

Meta聚拢了很多合作伙伴共同向客户及开发者提供LLaMA2模型,阿里云、Amazon Sagemaker、Databricks、Microsoft Azure以及IBM的WatsonX都已支持LLaMA2使用,开发人员可以在单个GPU上微调70B的模型,采用成本被大大降低。

最近一项题为 “大型语言模型的挑战和应用”的研究指出,经过微调的闭源模型和开源模型之间存在能力差距。但借助LLaMA2,社区可以缩小差距,开发出可与OpenAI的GPT模型相较量的竞争对手。

值得注意的是,Meta给LLaMA2的“免费商用”设置了一个意味深长的限制条件。根据LLaMA2的授权政策,如果企业的月活用户数超过7亿,必须从Meta申请许可证,Meta会对此类授权严格设限。

Meta并未明确解释设置这项政策的实际原因,但从“月活7亿“的门槛来看,基本上把现在的巨头挡在了门外。产品月活超7亿的公司有YouTube(25亿)、苹果 (18亿)、微软(14亿)、三星(10亿)、领英(9亿)、Snapchat(7.5亿)等,而这些正是Meta的主要竞争对手。

通常意义上,开源和闭源有着明确的“分工”。开源承担推动技术繁荣的理想与信念;闭源则负责为商业公司构筑技术壁垒,谋取更多利润。但Meta似乎试图在开源的理想主义和闭源的利益为先之间寻找一个平衡点——一边高举开源大旗,繁荣创新;一边和竞争对手划清界限。

不得不说,和2021年“All in”元宇宙相比,Meta这次的战术显得更加明智。某种程度上,这更像是蛰伏已久的Meta,向所有人发出的一次“反击”。

一直以来,以社交媒体起家的Meta常被人诟病缺乏科技基因。在今年5月举办的“白宫AI峰会”甚至没有邀请Meta。有记者询问原因时,一名匿名官员回应道:“目前在该领域处于领先地位的公司,才会收到邀请”。

LLaMA2发布后,Meta和背后的扎克伯格或许终于能扬眉吐气一回。毕竟,为了这一天,扎克伯格已经带着公司在AI这条路上跑了10年。


2.Meta AI的十年:研究的巨人,产品的矮子


2013年,谷歌、微软、百度、DeepMind四家公司为一场竞拍争红了脸。

竞拍对象是一家名为DNNResearch的公司,这家公司没有任何产品,也没有生产计划,全公司甚至只有3名员工和几篇论文。

而这3名员工,就是真正让大厂们垂涎已久的对象。他们分别是多伦多大学教授Geoffrey Hinton(杰弗里·辛顿)与他的学生Alex Krizhevsky(亚历克斯·克里泽夫斯基)、llya Sutskever(伊尔亚·苏茨克维)

彼时,师徒三人已经是人工智能领域传奇版的存在——他们合作设计了卷积神经网络(CNN)架构AlexNet。AlexNet在LeNet(LeNet-5,最早的卷积神经网络之一)的基础上加深了网络的结构,结合GPU强大性能直接横扫2012年ImageNet挑战赛,一举打破深度学习的寒冬。

最终,谷歌以4400万美元拿下了DNNResearch。如今回看,这场竞拍正是即将到来的深度学习革命的前奏。

错过杰弗里·辛顿这张王牌后,扎克伯格开始带领Facebook着手组建自己的AI王牌部队。他找到了另一位出色的AI梦想家——Yann LeCun(杨立昆)

上世纪80年代,Yann LeCun就创造了卷积神经网络,被誉为“卷积神经网络之父”。上文所说的AlexNet,便是在他的研究成果LeNet之上发展而来。

2013年10月,扎克伯格亲自给Yann LeCun打了一通电话:“我们公司已经走过了十年,需要考虑下一个十年。我们认为人工智能将会扮演一个非常重要的角色。”他诚挚邀请Yann LeCun帮助Facebook建立一个世界顶级的人工智能实验室。

Yann LeCun同样提出了很多要求——实验室必须独立开放,研究成果完全开源,他本人要继续在纽约大学任教等等。二人一拍即合,Facebook入局AI已是箭在弦上。

2013年末,由Yann LeCun主导的FAIR实验室(Facebook's Artificial Intelligence Research)宣告成立。

Yann LeCun一直提倡产学合作制度,这也让FAIR有着浓厚的学术氛围。根据实验室华人成员田渊栋介绍,FAIR实验室目标就是发高质量文章、做有力的前沿工作,且研究氛围非常自由,没有产品压力。自由包容的研究氛围也为FAIR吸引了大量的学术大牛,诸如何恺明、田渊栋、Edward Grefenstette等。

之后几年,Yann LeCun携手一众学者将FAIR打造成与DeepMind、OpenAI齐名的全球顶尖AI实验室。

FAIR将相当一部分研究精力都集中于攻克推理、预测、计划、无监督学习等基础问题,开发了诸如深度学习框架PyTorch、深度卷积生成对抗网络(DCGANs)等技术工具。

以深度学习框架为例,2017年,FAIR实验室陆续开发学习框架PyTorch、Caffe2,一举打破了谷歌在框架领域称王的局面。仅在发布一年后,PyTorch的论文提及数量猛增194%,份额直逼TensorFlow 。

此外,FAIR也始终保持着开放的态度,坚持对外发布前沿的研究成果,并尽可能地对外开源研究代码、数据集和工具。据Hugging Face创始人Clement Delangue介绍,截至2023年8月,在Hugging Face上,Meta共有689个存储库,相比之下,谷歌有591个,微软只有252个。

可以说,Meta是目前为止开源数量贡献最多的科技大厂。

“Facebook在FAIR之前没有任何研究实验室,这是第一个,在那之前,该公司非常专注于短期工程项目,期限为6个月,甚至更短,”Yann LeCun曾回忆道。

“在Facebook的头五年里,我对创建研究实验室说‘不’,”首席技术官Mike Schroepfer在Facebook的一篇帖子中写道。“2013年,人们发现人工智能对于 Facebook的长期未来至关重要,所以我们必须想办法解决这个问题。”

成立五年后,FAIR的影响力已渗透到整个公司。该小组在门洛帕克、纽约、巴黎、蒙特利尔、特拉维夫、西雅图、匹兹堡和伦敦设有实验室。他们与学术机构合作,发表了无数论文和研究,该小组在五周年时间表中列举了其中的许多内容。

然而,尽管FAIR给Facebook在AI学术领域带来无数高光时刻,但在如何把AI变成产品的问题上,Facebook却闹了不少笑话。

Facebook改名Meta后,也发布过类似的聊天机器人BlenderBot3(简称“BB3”)。当有记者向BB3提问:“你如何看马克·扎克伯格这个人?”BB3毫不犹豫地回答:“他在国会作证时的表现太差了,让我对美国的未来感到担忧。” “我不喜欢他,他好诡异,并且控制欲很强。”“他冷漠无情。”

这些狂踩老板的发言,吸引了大量网友纷纷涌向BB3一探究竟。但很多人发现,BB3不仅喜欢狂踩自己老板,还会一本正经地胡说八道,并不时生成诸如反犹主义、种族歧视等偏见。

最终,被寄予厚望的BB3不仅没有强化Meta的 “科技”标签,反而深化了其煽动仇恨的恶名。相似的尴尬在2022年11月再次上演,定位在“科研助手”的大模型卡拉狄加(Galactica),却意外成了“科学造假发动机”,在发布仅3天后便匆忙下架。

至此,Meta在AI产品上的两次尝试均以失败告终。“如何将AI变成产品”,成为全公司共同的待解命题。

Facebook在AI产品上的失败,很大程度上来源于FAIR类似学术研究的项目驱动模式。研究人员推进各自议程、追求独立的项目,这给了研究人员很高的自由度,但并不利于制定一个有凝聚力的全公司战略。

这种模式也让Meta内部资源分配过于分散,不够聚焦。Facebook会给每个项目划分独立的硬件资源池,但并非每个项目研究都能完全消耗分配到的芯片,一旦有所剩余,研究人员为保证项目组得到充分的算力资源,就会将多余的芯片投入一些并不重要的研究中。

长此以往,劣币驱逐良币,最终结果只能由整个Meta来买单。

反复出丑的AI产品,不断消耗公众的热情。BB3发布时,还有公众认为“Meta内部有更好的AI,但选择发布一个糟糕的聊天机器人”。但当大模型卡拉狄加(Galactica)发布后,用户已经攒够了失望,“Meta只能发布一个糟糕的AI”似乎成为了一种共识。

更致命的是,对Meta产生怀疑的不只是用户。在今年4月末的内部调查中,只有26%的Meta受访员工表示仍对公司的领导层充满信心。而已经失去信心的人,也选择了“用脚投票”。据《华尔街日报》报道,去年Meta至少有三分之一曾参与LLaMA、OPT项目的研究人员因筋疲力尽或对Meta缺乏信心而流失。

公众则延续了对Facebook的严厉审判,没有人想为一个侵犯隐私、散播偏见的社交巨头,买单另一个喜欢胡说八道的语言模型。

不过,尽管Meta已经陷入内忧外患的境地,但Meta依然没有离场。Meta斥巨额资金押注AI,接连发布SAM、LLaMA2,Meta正在用自己的方式,重回人工智能的赛道。

跳出Meta本身回看这段历程,一个朴素的问题浮出水面:社交媒体起家的Meta为什么要“死磕”AI?

事实上,从Facebook到Meta,这家公司的一举一动都和扎克伯格的思想动态深度绑定。因此,要研究这家公司做一件事的动机,最终还是要在扎克伯格本人身上寻找答案。


3.野心家扎克伯格的三次“误判”


扎克伯格是一个不折不扣的野心家。自始至终,他都梦想能创造一个完全平行于现实的虚拟世界。只是,扎克伯格定下的每一个“小目标”,几乎都没能圆满完成。

2004年,扎克伯格带着“连接世界”的梦想,创办Facebook。Facebook团队陆续创造了动态讯息(News Feed)、点赞(Like)等功能,成功吸引了更多用户,将Facebook从校园应用转变为开放应用。

不过,规模增长远不是扎克伯格真正的野心——他想打造一个专属于Facebook的操作系统(平台)

扎克伯格开始将Facebook想象成与Windows相当的社交网络操作系统,像微软拥有桌面世界一样,Facebook将拥有社交世界,成为唯一一家掌握社交图谱全貌的公司。

很快,扎克伯格醉心于平台的研发中,努力寻找各类创业者开发应用。Facebook甚至举办了一场黑客马拉松,邀请开发者发挥自己的奇思妙想。不久后,音乐、游戏、互动等各类应用接连上线,成千上万的开发者涌向Facebook,准备开启新一轮“淘金热”。

但此时,移动化浪潮来袭,让扎克伯格乱了阵脚。

当扎克伯格带领团队埋头打造开发者平台时,乔布斯正将世界带入“iPhone时刻”。眼看着人们使用桌面电脑的时间越来越少,一直痴迷于在PC端建立开发者平台的扎克伯格幡然醒悟——Facebook赖以生存的PC系统将很快被颠覆。

似乎一夜之间,Facebook这家社交媒体时代的“变革者”,摇身变成了移动互联网时代的“跟随者”,他们要重新学习移动时代的新规则。

移动平台不像桌面电脑,它不是直接将内容分发给用户,而是在由苹果或谷歌这类硬件设计厂商运营的应用商店中上架。想要上架,就要遵守对方的规则,这对一个想要掌控未来的野心家而言,显然是不情愿的。但此时的Facebook已经无心思考了,范式更迭中,生存才是最重要的。

在接下来的几个月里,扎克伯格重新学习移动生态经济学,Facebook团队则针对iOS、安卓系统重新开发原生应用。直到2012年3月,Facebook移动生态才终于稳定下来。

但扎克伯格不满于仅在上层应用做些“皮毛”工作。错过PC时代的扎克伯格开始卯足力气,想和移动互联网时代的软硬件巨头谷歌、苹果搏一搏,打造自己的手机并开发配套的手机操作系统。

扎克伯格快速行动,与同样错失移动浪潮的芯片公司英特尔(苹果和安卓都选择了其竞争对手的芯片)合作开发了一款Facebook手机。这部手机配备时尚的曲面屏,甚至已经有了一部样机。

但随着预定日期临近,Facebook愈加发现这笔生意不划算:Facebook没有硬件生产的相关经验,而制作一个操作系统又需要高额的资金投入。加上此时的移动生态已经由两大平台——谷歌的安卓与苹果的iOS系统所把持,Facebook的挣扎可能不会激起什么水花。

至此,扎克伯格只好搁置自己的野心,重新踏上寻找未来的征途。

2014年,扎克伯格寻找到一个新的可能性:虚拟现实。

尽管这时距离扎克伯格认为的“濒死体验”仅仅过去两年,但他还是觉得Facebook想要拥有未来,就需要为下一次范式转变做好准备。

在多次会见虚拟现实头显制造商Oculus后,扎克伯格更加笃定地认为:“虚拟现实是下一代平台,错过这个机会就像错过移动互联网一样。” 终于,在2014年7月,扎克伯格以20亿美元的价格收购了这家初创公司,正式开启了虚拟现实之路。

扎克伯格一直对虚拟现实的未来充满信心。在他的设想中,Oculus将在21世纪30年代成为主导平台,所有的平台都将置于更为紧密的控制之下。在2017年Oculus开发者大会的主题演讲中,扎克伯格就设立了“10亿人使用虚拟现实产品”的目标。而对当时Oculus的高管来说,这是他们直到彩排才知道的预测数字。

扎克伯格在虚拟现实领域持续投入,也在寻找一个适当的机会向前突破,将它带到公众面前。 2021年,扎克伯格找到了自认为对的时机。

2021年,随着游戏平台Roblox以“元宇宙第一股”的概念上市,元宇宙迅速引爆资本市场。随后游戏开发公司英佩估值快速上升、元宇宙ETF基金上线,全世界掀起了一股元宇宙风潮。

火热的元宇宙让扎克伯格看到了虚拟现实的可落地性,加上此时TikiTok对Facebook社交媒体份额的蚕食,2021年10月,Facebook改名Meta,正式押注元宇宙。

这一次,扎克伯格终于先人一步。可惜的是,扎克伯格并没有找准时机。

从押注元宇宙开始,Meta就将FAIR实验室并入元宇宙核心部门Reality Labs,并加大人员扩充。据The Verge报道显示,Reality Labs在一年时间里增长了约7000名员工,总员工已超过17000人,已经占整个公司的五分之一。在资金上,Meta也在继续加码,2021年Meta全年在Oculus上的投资超过100亿美元,2022年这一数额上升至158.8亿美元。

然而,庞大的资金、精力、人员投入并没有获得相等的回报。截止2022年2月,Meta开发的元宇宙社交平台Horizon Worlds,只有30万左右的用户量。从Meta发布的财报来看,Reality Labs在一年半内亏损达210多亿美元,Meta股价更暴跌了近60%。

转型受挫的Meta急需回血,尽管扎克伯格依旧为元宇宙热情辩护,但现实的资金压力还是让扎克伯格调转方向,回到现实轨道的中来。

正巧的是,2022年11月,OpenAI发布ChatGPT,带来一场愈演愈烈的生成式AI热潮。

比起大力投注元宇宙,利用人工智能曲线救国,显然更加现实。在衡量公司状况、发展前景等多方状况下,扎克伯格选择及时止损,开启“效率年”,将目光投向生成式AI。

扎克伯格他率先从元宇宙项目着手,叫停了VR设备生产并停止为Quest Pro订购新的零部件。另外,扎克伯格继续严控成本,削减中层管理人员和一些表现不佳项目。自去年11月裁掉1.1万员工之后,很快,Meta又宣布了第二轮裁员。

在一系列调整后,Meta继续加注生成式AI。据Meta首席财务官Susan Li 介绍,Meta在2023年会斥资330亿美元来支持“人工智能能力的持续建设”,研究成果也将会被集成到Meta产品中来。

目前,Meta已经在尝试将大模型集成到原有产品上。随着AI推荐加入社交产品中,用户在Instagram上花费的时间增加了24%,Instagram的季度增幅超过30%,Meta2023年第二季度总营收同比增长11%,数额达320亿美元。这也是Meta自2021年四季度以来,营收涨幅首次达到两位数。

但更严峻也更现实的问题是,Meta缓慢增长的营收,还能否支撑得起大模型混战后续所需要的巨额投入?显然,现在不是回答这个问题的最佳时机。毕竟,在“如何用大模型赚到钱”这件事上,所有人都还在摸着石头过河。

至少目前为止,在扎克伯格“连接世界”的野心之下,AI是唯一一个看到回报,并有望让Meta在商业的丛林世界中重新站起来的计划。

2017年,扎克伯格回到哈佛,进行毕业典礼演讲。他说:“让我告诉你们一个秘密,‘没有人一开始就知道(Facebook)该怎么做,想法不会在最初就完全成型。只有当你开始行动时,事情的脉络才会逐渐清晰,你只需要开始行动。如果从一开始我就要完全弄明白‘如何连接人’,我永远做不出Facebook。”

尽管现在依然没人能看到这轮大模型混战的终局,但已经对时代浪潮误判三次的扎克伯格或许可以松一口气——Meta终于没有错过大模型。

(封面图来源:电影《社交网络》)

  • 63
  • 0
  • 0
  • 0
评论
登录甲子光年
其他登录方式
登录即表示你已阅读并同意
《甲子光年用户注册协议隐私政策
找回密码
获取验证码
注册甲子光年
获取验证码
注册即表示你已阅读并同意
《甲子光年用户注册协议隐私政策
绑定手机号
获取验证码
登录即表示你已阅读并同意
《甲子光年用户注册协议隐私政策
完善资料
登录即表示你已阅读并同意
《甲子光年用户注册协议隐私政策
微信登录
扫描二维码 | 授权登录甲子光年