不要神化ChatGPT

2天前 (02-11 02:32)阅读1回复0
小小的人啊
小小的人啊
  • 管理员
  • 注册排名4
  • 经验值118315
  • 级别管理员
  • 主题23663
  • 回复0
楼主

不要神化ChatGPT

图片来源@视觉中国

文|光锥智能,做者|周文斌

文|光锥智能,做者|周文斌

“ChatGPT的意义不亚于PC或互联网的降生”,比尔盖茨对那个新风口不惜赞誉。

裁人潮下一片暗澹的硅谷,因为ChatGPT再次燃起了期看之光。

微软斥资100亿美圆投资OpenAI,并方案将ChatGPT融进旗下全线产物。2月4日,微软合成ChatGPT-4的Bing已经短暂上线,速度之快让人咂舌。

不要神化ChatGPT

图:融进ChatGPT的Bing

而为了应对微软激进的规划,谷歌告急地召回了佩奇和布林两位开创人,并在上周也起头内测类似的产物Apprentice Bard。同时,谷歌还向OpenAI的合作敌手Anthropic投资近4亿美圆,以完成微软和OpenAI类似的绑定。

展开全文

中国科技公司也在纷繁跟进,一波类似于2016年AlphaGo的热潮又一次掀起。

2月7日,百度公布了自家类ChatGPT产物的名字“文心一言”,并估量在3月推出响应的产物。

2月8日,阿里巴巴也透露,聊天机器人ChatGPT目前处于内测阶段。

同日,有道CEO周枫也独家向光锥智能确认,有道将来或将推出ChatGPT同源手艺产物,利用场景围绕在线教导。

2月9日,腾讯也亮相正有序推进ChatGPT和AIGC相关标的目的的专项研究。

一时间,不只科技圈无人不谈ChatGPT,以至有很多人也起头用其面向通俗用户赚钱。瑞银揣测,ChatGPT的月活泼用户在本年1月份到达了1亿,它完成那个目标只用了2个月,而在它之前,最快的TikTok可能花了9个月,那让ChatGPT成为迄今为行增长最快的消费者利用。

在此之前,AI产物更多是针对B端的产物,ChatGPT也突破了to B到to C的圈层壁垒。

当然,ChatGPT的伟大,更重要的仍是它让通用型人工智能进一步成为可能,并降低了那项手艺的进进门槛,让更多开发者可以以低成本的体例在ChatGPT的根底上开发专属利用,让AI革新世界的可能性进一步提拔。

能够说,就像25年前刚刚萌芽的互联网正预备对全球带来天翻地覆的变化一样,现在ChatGPT的呈现,让AI成为新一轮手艺发作的奇点成为可能。

但是,光锥智能在和中国人工智能行业从业者交换后,发现很多手艺从业者反而不如圈外如斯狂热。那是因为,渐进式手艺朝上进步到今天,并不是一蹴而就,手艺从业者不断都在连结着密切的看察和手艺跟进。

ChatGPT很牛,但不要神化它。

01 硅谷只剩AI了

谈起ChatGPT,我们仍然要从硅谷起头。和互联网、Web3、元宇宙等之前大大都具有革命或非革命意义的手艺打破一样,ChatGPT仍然来自于硅谷。

但和之前硅谷各项手艺标的目的百家争喊差别,那个时间点的ChatGPT更像是硅谷没有抉择的抉择。

2022年,硅谷就履历了一波大裁人,并涉及了几乎所有的科技公司。到了2023年2月,固然冬天的气温已经有所上升,但硅谷的冷意却还没有褪往。

据trueup.io统计数据,在2023年刚刚过往的那一个月,全球326家科技公司累计裁掉了106950万人,此中大头都在硅谷,并且冲击面还十分普遍,元宇宙、芯片、主动驾驶和SaaS都是重灾区。

不断以来,裁人都是一个行业不景气的间接表示。

以Wbe3为例,Coinbase在2023年1月方案裁掉公司20%的员工,那是美国第一家上市的合规加密交易平台,且那家公司已经在往年6月裁掉了18%的员工。

研究公司PitchBook的数据展现,在2022年第四时度,Wbe3行业的风险投资就已跌到了那两年以来的更低程度,比2021年同期下降了75%。

在芯片范畴,美光、格罗方德、英特尔等巨头无一幸免,此中泛林集团裁人1300人,因特尔下调包罗CEO在内的治理人员薪酬,并裁人数百人。SaaS范畴,Salesforce在1月4日公布裁人8000人,约占全体员工的10%。主动驾驶方面,包罗Waymo、Crusie、图森将来、无人车配送公司Nuro都有裁人的动静传出。

除此之外,曾经被倾泻下一代互联网期看的元宇宙也末于走到了拐点。

往年11月,Meta确认了成立18年来初次大规模裁人,扎克伯格向被裁人工报歉,“我错了,我要为此次裁人,以及我们是若何走到今天那个地步负责。”

投资人也不再看好Meta的元宇宙将来,美国投资公司Altimeter Capital向Meta颁发公开信,唤吁公司削减20%的员工成本,并将「元宇宙」项目标收入限造在每年50亿美圆。

而比拟于一头扎进元宇宙之后又船大难掉头的Meta,涉足稍浅的微软则勇敢抉择了弃旧重新。

起首,微软对元宇宙相关营业停止了大刀阔斧的裁剪,其公布将在3月10日封闭2017年收买的社交平台AltspaceVR,并有可能脱节混合现实东西包(MRTK)团队。

同时,微软又在AI方面鼎力投进。1月初,微软就方案向OpenAI投资100亿美圆,然后公布要将包罗Bing搜刮、Office、Azure在内的旗下全线产物整合ChatGPT。到2月7日,微软已经在Redmond召开了整合ChatGPT的Bing发布会。

其实从ChatGPT面世第一天起头,ChatGPT倾覆传统搜刮的看点就已经风行一时。所以面临微软激进的规划,谷歌2月6日公布推出一款聊天机器人Bard来与ChatGPT合作,谷歌云计算部分也在开展一个名为“Atlas”的项目。

2月7日,谷歌向ChatGPT的合作敌手Anthropic投资了约3亿美圆,获得了10%的股份,那让谷歌和Anthropic构成了类似微软与OpenAI的绑定关系。

除了谷歌和微软之外,在ChatGPT上线前三个月,Meta其实也曾发布过一款类似的聊天机器人,只是并没有获得太多影响力。用Meta首席人工智能科学家雅恩・勒昆(Yann LeCun)的话说,“Meta的Blenderbot让人觉得很无聊”。

响应的,亚马逊也已经将ChatGPT利用到了包罗答复面试问题、编写软件代码和创建培训文档等工做本能机能中。一名亚马逊员工在Slack上表达,亚马逊云部分已经成立了一个小型工做组,以更好地领会人工智能对其营业的影响。以至,连苹果都公布要鄙人周召开内部AI峰会。

现在的硅谷,AI已经成为了绝对C位。

那种转向其实也表示在投资机构的动态上,2021年12月,红杉本钱将本身在Twitter上的简介从“搀扶帮助有冒险精神的人创建伟大的公司”改成了“从设法到落地,我们搀扶帮助富有冒险精神的人打造伟大的DAO。”2022年,Web3赛道炽热,红杉在2022年1月1日-4月26日,以可能每周一家的速度投资了17家Web3公司。

不要神化ChatGPT

但改变发作在往年9月,红杉本钱发布了一篇文章《生成式AI:一个创造性的新世界》。此中写道,生成式AI有可能创造数百万亿美圆的经济价值。

PitchBook的一项统计数据展现,2022年投资圈向生成式AI公司共投进13.7亿美圆(折合人民币约93.69亿元),几乎到达了过往5年的总和。那些投资中不只包罗OpenAI、Stability AI如许的头部企业,也包如Jasper、Regie.ai、Replika等草创企业。

不要神化ChatGPT

整体上,从投资人到大企业,再到创业者,一场关于AI 2.0的大幕已经拉开。

02 中美差距没那么大

从硅谷到中国,ChatGPT的热度有增无减。

事实不断以来,关键的手艺改革都发作在硅谷,那两年中国尖端手艺又不断面对卡脖子的问题。所以在ChatGPT呈现之后,各人最关心的仍是当国外手艺已经起头贸易化落地的时候,国内的进度到底若何,差距又有几?

2月7日,对外公布了自家类ChatGPT产物的名称“文心一言”,英文名喊ERNIE BOT,目前,文心一言正在做上线前的冲刺。

“文心一言”一经透露,便敏捷登上各大平台热搜,股价一度涨超17%,市值增长约700亿港元。很明显,市场关于一个中国版的ChatGPT已经等待太久。

之前,有看点认为国表里差距可能在两年摆布。但云知声研发副总裁刘升平认为,现实上的差距可能没有那么远。两年的说法是因为GPT-3是在两年前公布的,但其实自GPT-3发布之后,国内许多企业就已经跟进在做类似的大模子了。“现实差距并没有那么大,可能在一年摆布。”

小冰公司CEO李笛也向光锥智能提到:“国内人工智能手艺不像芯片、操做系同一样落后于国外,相反它应该是最接近国际的。”

“国表里的差距次要是一种思维上的差距。”李笛认为,国内对手艺立异那件事鼓舞得不敷足够,假设一个公司耐得住孤单,那它无论在哪个标的目的都是OK的。

事实上,国内大厂根本都具备操练大模子的才能。好比此次发布的文心一言,就和文心大模子一脉相承。

在发布文心一言名字的时候还特意提到,在人工智能四层构架中有全栈规划,包罗底层芯片、深度进修框架,大模子以及最上层的搜刮等利用。拥有财产级常识加强文心大模子ERNIE,具备跨模态、跨语言的深度语言语义理解与生成才能。

同样的,腾讯也有类似混元AI大模子,在此根底上,腾讯推出了HunYuan-NLP 1T大模子并一度登顶国内最权势巨子的天然语言理解使命榜单CLUE。此外,像阿里有“通义”大模子,华为有盘古大模子,国度队中科院主动化研究所有“紫东·太初”等等。

不要神化ChatGPT

简单来说,国内大厂根本都有做NLP预操练模子的才能,以至许多专业才能还处在世界领先的程度。

好比腾讯的混元大模子在2022年11月公布了一项最新停顿,它们实现万亿级NLP模子,能够用256张卡,最快1天内完成操练,成底细比本来降低1/8。

做为比照,ChatGPT操练一次的成本高达1万万美圆,那是一般企业无法承担的。小冰公司CEO李笛算过一笔账:“假设根据ChatGPT成原来考量的话,天天我要烧3亿人民币,一年要烧一千多亿。”

而腾讯通过课程进修、MOE路由算法、模子构造等体例优化之后,让更多企业可以承担得起操练本身的NLP模子的成本。

除此之外,像在专利储蓄上,根据statista2021年的数据,百度和腾讯都名列世界前列。

不要神化ChatGPT

另一方面,就ChatGPT而言,它的手艺原理其实不别致。

Yann LeCun提到:“就底层手艺而言,ChatGPT并非特殊立异的,它不是革命性的,虽然那是公家对它的观点。”他指出,除了谷歌和Meta,还有6家草创公司根本上拥有与它十分类似的手艺。ChatGPT是一项集体勤奋,因为它搜集了多方多年来开发的多项手艺。

李笛也提到,大模子对应的手艺理念已经降生好几年,无论是国内仍是国外,利用那种手艺理念操练出来的大模子已经良多,只是在详细fine tune(微调)的过程中专注的范畴有所差别。

做个不当当的比方,ChatGPT就像原枪弹一样,它的原理已经被写在了教科书里,而大大都国度仍然无法实现,更多是因为工程性的问题。好比千亿规模的数据从哪里来?若何停止数据标注,详细标注哪些数据,标注几,那些数据又若何停止组织操练等等。

而那些问题也都没有在OpenAI的论文中得到公布,需要企业在本身的模子操练中往测验考试和摸索,然后构成体味,积存成本身的know-how。

03 不要神化ChatGPT

固然在底层手艺上,国表里其实并没有想象中那么大的差距。但当各人看到国外如火如荼的手艺落地时,也会担忧国内在那方面落伍。

关于ChatGPT如许手艺逻辑清晰的产物而言,慢一点其实不影响成果。但假设产物差,则表示在详细工程问题的处理才能上,那些部门要摸索,要踩坑,要构成体味都需要漫长的时间,那背后反映的是手艺程度的问题。

比拟于欧美以英文为主的语言情况,中文是表意文字,在笼统归纳综合和逻辑才能上生成不及英文。除此之外,国内互联网的语料也相对欠缺,没有英文互联网那么大的数据积存。

所以有业内人士表达,对目前国内的类ChatGPT产物开展而言,重要的不是模子,而是数据。

“天然语言处置需要颠末一个十分缜密的推理过程。”李笛提到:“大模子某种意义上代表一种暴力,即把大量的数据压缩到一个黑盒里面,然后提取出来,那意味着各人在算力有必然保障的前提下,能够有时机用之前没有用过的办法往完成。”

另一方面,ChatGPT确实是革命性的存在,但却其实不代表它就是此后NLP范畴的独一标的目的。

起首是ChatGPT的手艺开展,今天最次要的手艺在于,一个模子建压好之后,若何从里面很好地提取数据,目前还有良多新办法没有测验考试,所以不肃清将来用更小的模子到达很好效果的可能。

李笛提到,如今整个行业都在逃求那种可能,因为模子参数太大,必然意味着成本十分高,以及各类各样的其他问题。“今天手艺差别还远远没有到达成为差别手艺门户的水平,也还远远没有到说就按利用场景往划分如许一个水平。”

其次是从整个NLP的手艺道路来看,目前次要有两种支流手艺道路,别离是以谷歌BERT为代表的双向预操练语言模子+fine-tuning(微调),和以OpenAI的GPT为代表的自回回预操练语言模子+Prompting(指示/提醒)。

在ChatGPT发布之前,BERT不断是业内支流的手艺计划,它之所以被ChatGPT夺了风头,是因为它无法像GPT一样用一个模子处理所有问题,没有表示出通用型人工智能的潜力。

但现实上,BERT在许多详细的场景下拥有优势,好比在特定场景下,BERT能够用更小的数据量(ChatGPT是在3000亿单词的语料根底上预操练出的拥有1750亿参数的模子),更低的操练成本实现同样的性能。

好比在病院内部如许一个特定场景,一方面它用不起千亿规模的模子,ChatGPT在病院场景就属于杀鸡用牛刀,病院也无法承担摆设ChatGPT的成本。另一方面,ChatGPT的模子是基于公开数据操练的,但病院的数据其实不存在公共收集上,所以面临病院的问题,ChatGPT可能力所不及。

但BERT却可以适应如许的场景,它能够以更小的数据量,更低的成本,针对病院的数据和场景针对性地操练出的模子,在处理详细问题上比ChatGPT愈加得心应手。

那其实就是一个所有范畴都涉猎的万能型选手和深耕特定范畴的专家之间的区别。即在数据确定的特定场景,BERT更有优势。而在没有明白数据和目标,面向开放式的利用场景,ChatGPT则更适宜。

当然,详细到国内企业的贸易化来说,大模子需要大量的数据,昂扬的操练成本,那些都不是一般企业可以承担的,因而它必定了是巨头的游戏。

在腾讯研究院近期发布的《AIGC开展趋向2023》陈述中就梳理了目前AIGC财产生态系统的三层构架,包罗以预操练模子为主的根底层;以垂曲化、场景化、个性化模子为主的中间层;和以图像、语音、文字生成等详细AIGC利用为主的利用层。

不要神化ChatGPT

图:腾讯研究院《AIGC开展趋向2023》

此中,如百度、腾讯、OpenAI如许的大公司将专注于做预操练模子,对那些企业来说,他们一方面可以将大模子的才能整合到本身的产物线中,间接面向广阔的用户;另一方面又可以通过API为中小企业供给才能挪用,在详细场景中落地。

面临如许的生态架构,一位出名机构投资人在察看过硅谷的ChatGPT项目后向光锥智能表达:“创业公司的时机在于,在开源手艺的根底上,做详细的利用场景。出格是能够把几种详细手艺连系在一路,好比数字人和ChatGPT连系,主动生成视频,用于金融、客服等特定场景下的利用。”

但那也会面对一些问题,即假设各人都挪用统一个模子的才能,又落地在统一个细分场景,那一定会面对同量化的问题。

所以刘升平认为:“ChatGPT合适创业公司进进市场初期的冷启动,即通过ChatGPT供给办事,然后逐渐积存数据,待有了必然数据积存之后再操纵BERT操练公用模子,以此来成立本身的手艺壁垒和护城河,同时也供给差别化的办事,和同业拉开差距。”

所以,无论是从手艺,仍是从贸易化的角度而言,ChatGPT和BERT历来不是一个非此即彼的问题,而是一个术业有专攻的问题。

此外,刘升平也提到,关于中小公司而言,假设没有才能往研发类似ChatGPT的通用大模子,那也能够考虑研发类似ChatGPT的行业版模子,用更少的参数量,更多的行业数据,在行业问题上到达或超越ChatGPT的效果。

“我认为到目前为行,人工智能在To C和To B上尚未呈现一个放之四海而皆准的贸易形式。”

李笛提到,AI如今还出其实还处在一个相比照较早期,以至能够称之为蛮荒时代,良多理念都还处在特殊特殊原始的形态,所以可能每年我们回忆过往,城市觉得在倾覆本身。

“就像前几年NIIPS大会上有人开打趣说过的大模子炼丹,如今的大模子就像各人拿到了一个好的玩具,但不晓得那个玩具还能吐出什么令人骇怪的工具。”

在2016年,AlphaGo击败李世石时,我们也曾认为AI时代已经降临,它会在许多范畴将人类替代掉,我们也曾为此恐慌和兴奋,但现实上现在将近10年过往了,AlphaGo并没有改动世界,以至没有改动任何人。

所以,何妨让枪弹再飞一会儿呢?

0
回帖

不要神化ChatGPT 期待您的回复!

取消
载入表情清单……
载入颜色清单……
插入网络图片

取消确定

图片上传中
编辑器信息
提示信息