探营腾讯混元大模型_天天聚看点 - 科技金融 -

当前位置:首页  >  科技金融  > 正文

探营腾讯混元大模型_天天聚看点

探营腾讯混元大模型_天天聚看点
2023-04-18 21:01:42 来源:阿尔法工场

目前,中国大模型领域的竞争,已经进入一个群雄逐鹿的乱战时代。

截止4月上旬,国内已有多家头部企业发布/或预发布了自己的大模型,其中包括了:

1、 百度(NASDAQ:BIDU)的文心一言


(相关资料图)

2、华为的大模型盘古

3、阿里(NYSE:BABA)的大模型通义千问

4、商汤科技的日日新大模型

5、腾讯(HK:00700)的混元大模型

一时间,“寻找或成为中国的OpenAI”,成为了国内各企业最首要的问题。

虽然科技创新讲究的就是一个“快”字,但“快”也不是一味的。

如何在保证速度的同时,解决好资金、算力、数据、人才,以及更多未知的工程化方法,都是一个颇为考验“内功”的环节。

目前,互联网行业中的一些企业,已经在大模型领域展现出了自己的实力,比如阿里这类领军企业,但同时,还有像腾讯这样实力不容小觑的企业尚未发力。

腾讯作为互联网行业的领军企业之一,拥有强大的技术实力、丰富的数据积累以及AI基础设置,让其在AIGC领域的布局备受关注。

01 万亿大模型

自OpenAI发布Chatgpt以来,大模型领域一个明显的趋势,就是随着算力的发展,模型容量持续提升,模型通用性和泛化能力也更强。

然而,此前国内基于万亿大模型的应用探索极少,在高速网络、训练/推理框架、模型算法和落地应用等方面,也没有全面深入的公开性研究。

在这种情况下,作为头部企业之一的腾讯,自然动了欲作开拓者的野心。

然而,若要问鼎“万亿大模型”这枚王冠,强大的算力则是必不可少的。于是,腾讯设计的一套“先蒸馏后加速”的大模型压缩方案——太极-HCF ToolKit,就应运而生了。

太极平台,包含了从模型蒸馏、压缩量化到模型加速的完整能力,为AI工程师打造从数据预处理、模型训练、模型评估到模型服务的全流程高效开发工具。

由于太极框架封装了很多功能和验证,因此只要配置正确,就不需要再进行额外的测试。这大大加快了开放的进度。

以太极平台的基础,配合强大的底层算力与低成本的高速网络基础设施,腾讯打造了首个可在工业界海量业务场景直接落地,并投入应用的万亿NLP大模型——HunYuan-NLP 1T(以下简称混元)。

混元最快仅用256卡在一天内即可完成万亿参数大模型的训练,整体训练成本仅为直接冷启动训练万亿模型的1/8。

而腾讯之所以在训练成本上如此大费周章,则与其自身的战略布局有着密切的关系。

纵观混元在腾讯应用层、模型层的布局,我们可以发现,这样的布局策略,很有可能是想以统一的平台,实现技术复用和业务降本,支持更多的场景和应用。

而这样的技术复用和多场景支持,则与腾讯在互联网领域独特的生态位有着密切关系。

腾讯目前已有的互联网江山,涵盖了社交、游戏、广告、内容创作等多个领域,如何用最低的成本,为原先已有的众多产品和业务进行赋能和升级,就成了腾讯在AI时代首先要考虑的问题。

目前,腾讯已经打造了以混元 AI 大模型为技术底座的广告多媒体 AI 技术矩阵;以及应用于创作的智能创作助手;和通用游戏竞技 的AI“绝艺”+“绝悟”。

可以说,这种通过降低模型训练成本,从而迅速让AIGC 技术为多个领域赋能的做法,与互联网行业发展初期,很多企业通过“烧钱”的方式,以迅速扩大市场份额的策略,着实有一种“异曲同工之妙”。

02 AIGC时代的新“微信”

“混元”对腾讯 AI 应用生态的拓展,绝不仅仅是一次对原有业务的“纵向升级”。

从某种程度上说,这样的生态的拓展,体现了腾讯在人工智能时代,对社会各领域、各产业层面的新一轮商业渗透的展开。

而这种多元化布局的思路,可以说是对其在移动互联网时代“攻城略地”的一次复刻。

在移动互联网时代,腾讯的野心就已经四溢到了游戏、社交、金融、广告等多个领域。这种多元化的业务布局,使得腾讯的触手深入到了网络生活的各个方面,并最终通过微信这个终端,一步步整合了人们对于衣食住行的大部分需求,以至于到了人们难以对其脱离的地步。

在当下的社会中,人们几乎无法想象没有微信的生活会是怎样的。

在进行多元化布局的同时,通过“烧钱”的方式不断投资并购,也是腾讯壮大自身的另一大手段。

如京东、美团、滴滴等,这些企业都是行业内的领先者,与腾讯的业务有很强的互补性,能够为腾讯带来更多的商业机会和收益来源,从而进一步扩大了腾讯自身的业务版图。

然而,随着互联网红利消失, 市场已经进入相对平稳的发展阶段,各大巨头们也开启了从增量到存量的战争。

在这样的背景下,传统的“花钱买量”已经难以再带来新的用户增长,既然原有产品的“纵向增量”已经走到尽头,那么通过跨领域融合的“横向增量”方式,继续维持或扩大自身庞大的业务版图,就成了腾讯若要在AIGC时代,一种最可行的策略。

凭借已有的庞大的用户数据,加上大模型带来的开放平台、生态合作,将自身的业务逐渐与农业、医疗、工业、教育等领域融合,可以最终编织成一张深深嵌入社会各个领域的智能化网络。

正如移动互联网时代,微信通过二维码、朋友圈、小程序等功能的推出,不断扩宽了自身的应用场景,并实现了用户数的一次次飞跃。

在人工智能时代,通过混元大模型带来的通用+专用领域的融合功能,意味着腾讯能够将各个领域的数据和信息进行整合和分析,混元大模型可以提供更加个性化、智能和高效的服务,从而进一步增强用户的忠诚度和粘性。

而当这些来自多个领域的信息、数据,最终被大模型整合进某一终端时,一个涵盖了人们各个不同领域需求的“AIGC版微信”,或许也就此诞生了。

在某种程度上,它可能会比现在的微信更“必要”、更“难以离身”,得益于大语言模型知识抓取、逻辑分析能力,一些涉及事项多、专业性强,并且与民众需求紧密相连的需求(如医疗、法律等领域),最后甚至仅仅能通过人们一句简单的“命令”,得到实现。

如此一来,混元大语言模型,从理论上可以打破腾讯的原有的产品版图边界,让AI连接起各个产品与用户之间的需求。

03 算力的边界

若要支撑起这样横跨各领域、多业务的大模型生态,一道绕不过去的坎,就是算力的限制。

尽管大模型概念持续火热,但入局者大多面临着算力之困。

市场上流传的调研纪要显示,要训练像ChatGPT这样的生成式AI,至少需要1万张英伟达A100加速卡的支持。目前,国内只有6家公司具备这样的硬件实力。

然而,这样的“算力边界”,并没能阻止腾讯在AIGC时代扩充自身版图的野心。

4月14日,腾讯云正式发布了面向大模型训练的新一代高性能计算集群HCCPNV5。

该集群采用最新一代腾讯云星星海自研服务器,并搭载了英伟达 H800 Tensor Core GPU(国内首发),提供业界目前最高的3.2Tbps超高互联带宽,算力性能比前代提升了3倍。

H800 Tensor Core GPU

一般来说,一个集群的性能,主要取决于三个要素:单机算力、网络架构、存储性能。

在单卡单机的算力上,新一代集群单GPU卡支持输出最高495 TFlops(TF32)、989 TFlops (FP16/BF16)、1979 TFlops(FP8)的算力,单卡性能爆表。

而得益于腾讯云星星海服务器采用6U超高密度设计,每节点支持8块H800,上架密度与同行相比提升了30%。利用并行计算理念,通过CPU和GPU节点的一体化设计,将单点算力性能提升至最强。

然而,仅仅有了先进的芯片,并不等于拥有先进算力。

原因在于高性能计算存在“木桶效应”,一旦计算、存储、网络任一环节出现瓶颈,就会导致运算速度严重下降。

因此,先进算力的背后是先进芯片、先进网络、先进存储等一系列的支撑,缺一不可。

此次腾讯自研的星脉网络,为新一代集群带来3.2T的超高通信带宽。在「星脉网络」的加持下,单集群规模支持4K GPU(最大支持10万+ GPU)、超EFLOPS(FP16)算力。

搭载同样的GPU卡,3.2T星脉网络相较前代网络,能让集群整体算力提升20%,使得超大算力集群仍然能保持优质的通信开销比和吞吐性能。并提供单集群高达十万卡级别的组网规模。

最后的存储问题,在大模型训练场景下,存储也经受着前所未有的考验。

几千台计算节点会同时读取一批数据集,需要尽可能地缩短数据集的加载时长。

而新一代HCC集群,引入了腾讯云最新自研存储架构,支持不同场景下对存储的需求。

例如其中的COS+GooseFS方案,就提供基于对象存储的多层缓存加速,大幅提升了端到端的数据读取性能;

而CFS Turbo多级文件存储方案,则充分满足了大模型场景下,大数据量、高带宽、低延时的存储要求。

如此一来,算力、网络、存储,三个关键的节点,都被腾讯一一攻克了。

随着新一代HCC高性能计算集群的发布,国内大模型训练面临的算力困局有望得到纾缓,而国内的人工智能生态,也有可能从此走向百花齐放的局面。

这是因为,虽然对于中国企业来说,虽然ChatGPT这样大模型,工作量和成本并不是不可接受,但只有在算力、算法、数据等不同环节,让众多公司构成了一个庞大的人工智能生态,量变引起质变,中国自己的世界级大模型,才会有“涌现”的基础。

说到底,ChatGPT不是OpenAI一家公司的成功,而是一种人工智能生态的成功。

随着混元大模型所带来的低成本训练红利,国内大模型多元化格局也有望就此形成,而由此构建出的人工智能生态,也将有望让ChatGPT这类AI发生在中国、根植在中国。

标签:

(责任编辑:news01)
今天最新消息 99公益日,QQ音乐“听见音乐的光”特别公益企划,守护生活里的追光人-观察

今天最新消息 99公益日,QQ音乐“听见音乐的光”特别公益企划,守护生活里的追光人-观察

中新网9月1日电生活中有这样一群人,他们勇敢生活,即便身处逆境,依然秉持热爱、努力奔赴未来。这些在...
04-15 00:53:39
新加坡金管局维持货币政策不变 称现有政策仍有效力_新要闻

新加坡金管局维持货币政策不变 称现有政策仍有效力_新要闻

新加坡金管局14日宣布维持现有货币政策不变,称现有相关政策将会继续降低输入性通胀、抑制国内成本压力...
04-14 21:53:06
宋都服务(09608):程华勇辞任董事

宋都服务(09608):程华勇辞任董事

宋都服务(09608)发布公告,程华勇因其他业务承诺已辞任董事,自2023年4月1
04-14 20:55:36
社保卡怎么网上激活 社保卡怎么网上激活银行卡功能

社保卡怎么网上激活 社保卡怎么网上激活银行卡功能

1、参保人需持本人社会保障卡、身份证明原件到对应银行营业网点激活社会保障卡,激活后医疗保险账户将恢...
04-14 19:40:28
环球通讯!下一个世界杯最佳新秀?FM阿根廷高潜年轻球员一览

环球通讯!下一个世界杯最佳新秀?FM阿根廷高潜年轻球员一览

阿根廷队在2022年卡塔尔世界杯中勇夺桂冠,中场球员恩佐-费尔南德斯夺得最佳年轻球员奖,这让人对阿根廷...
04-14 18:28:05
【全球时快讯】【世界说】美媒:美国自杀率20年间上升30%以上  黑人和年轻女孩自杀倾向最严重

【全球时快讯】【世界说】美媒:美国自杀率20年间上升30%以上 黑人和年轻女孩自杀倾向最严重

中国日报网4月14日电据《美国新闻与世界报道》网站当地时间13日报道,最新研究表明,近年来,美国有自杀...
04-14 17:34:34
设计进行大幅调整 新款大众T-Cross谍照曝光|天天快播报

设计进行大幅调整 新款大众T-Cross谍照曝光|天天快播报

设计进行大幅调整新款大众T-Cross谍照曝光日前,车质网从海外媒体获得了一组新款大众T-Cross的谍照图片...
04-14 17:02:18
复旦大学实验动物科学部党支部书记吴宏翔接受审查调查

复旦大学实验动物科学部党支部书记吴宏翔接受审查调查

据复旦大学纪委(国家监委驻复旦大学监察专员办公室)、上海市虹口区纪委监委消息:复旦大学实验动物科...
04-14 16:05:31
62岁上海阿姨为穿旗袍付惨痛代价:6次手术花上百万元,现在还躺在医院 环球快播报

62岁上海阿姨为穿旗袍付惨痛代价:6次手术花上百万元,现在还躺在医院 环球快播报

62岁上海阿姨为穿旗袍付惨痛代价:6次手术花上百万元,现在还躺在医院
04-14 15:07:25
焦点速读:硅业分会:本周单晶硅片稳中有降,210硅片均价8.05元/片

焦点速读:硅业分会:本周单晶硅片稳中有降,210硅片均价8.05元/片

硅业分会:本周单晶硅片稳中有降,210硅片均价8 05元 片,本周硅片价格小幅下跌。M10单晶硅片(182mm ...
04-14 14:01:01
名记:7位前中超经理被带走,3人被查,网传前足协一把手失联 世界最新

名记:7位前中超经理被带走,3人被查,网传前足协一把手失联 世界最新

另外,冉雄飞还谈到了3位被查的人员,分别是南方某俱乐部的高总,上海中超俱乐部的前董事长吴某某以及北...
04-14 12:51:05
iPhone折旧率仅为安卓一半?“果机”霸榜转转二手回收榜-动态焦点

iPhone折旧率仅为安卓一半?“果机”霸榜转转二手回收榜-动态焦点

关于iPhone和安卓手机的性能高低尚存争议,但在保值能力上iPhone无疑更有说服力。近期,由BankMyCell发...
04-14 11:47:22
北京市相关委办局的职责及联系方式(积分落户政策咨询)-当前最新

北京市相关委办局的职责及联系方式(积分落户政策咨询)-当前最新

北京市相关委办局的职责及联系方式1、单位:市人力社保局负责审核事项:资格条件:在京连续缴纳社会保险...
04-14 11:09:44
零跑汽车被曝销量造假,经销商:如不实,愿担法律责任

零跑汽车被曝销量造假,经销商:如不实,愿担法律责任

零跑汽车被曝销量造假,经销商:如不实,愿担法律责任
04-14 10:32:41
在下“西直门三太子”萌兰,绝活儿一字马!期待“丫丫”回国和我做邻居

在下“西直门三太子”萌兰,绝活儿一字马!期待“丫丫”回国和我做邻居

大家好,我是一只大熊猫名叫“萌兰”,小名么么儿最近,我的视频可是火爆全网你不认识我?没关系我先给...
04-14 09:45:53
河南太康县属于哪个市的_太康县属于哪个市的

河南太康县属于哪个市的_太康县属于哪个市的

1、太康县,东临商丘市的柘城、睢县,北连开封市的通许、杞县,西与扶沟、西华毗邻,南与淮阳接壤。2、...
04-14 08:55:10
2022长三角区域协同创新指数发布

2022长三角区域协同创新指数发布

江苏省科技情报研究所(江苏省科技发展战略研究院)日前联合安徽省科技情报研究所(安徽省科技档案馆)...
04-14 08:00:25
潮评丨涉黄信息盯牢孕妇家庭 法律应精准打击

潮评丨涉黄信息盯牢孕妇家庭 法律应精准打击

潮新闻讯近日,《巴啦啦小魔仙》黑魔仙扮演者周娇发布视频称,自己孕期及生产后,丈夫多次莫名收到涉黄...
04-14 06:23:07
【世界热闻】电影《荒野狂兽》定档5月12日,非洲草原上演惊险搏斗

【世界热闻】电影《荒野狂兽》定档5月12日,非洲草原上演惊险搏斗

在野性和生机共存的非洲大草原上,一场人类与巨狮的激烈搏斗惊险展开。在这场计划已久的旅行中,他们来...
04-14 03:58:31
摁的读音_ended_世界播资讯

摁的读音_ended_世界播资讯

1、ended延续性动词fⅰnished。以上就是【摁的读音,ended】相关内容。
04-13 23:11:15
秦刚:希望国际社会全面、平衡、客观看待阿富汗问题-世界新动态

秦刚:希望国际社会全面、平衡、客观看待阿富汗问题-世界新动态

中方主张国际社会继续帮助阿富汗发展经济、改善民生,持续提供人道和发展援助,通过对话沟通引导推动阿...
04-13 21:42:04
包饺子用猪肉哪个部位(包饺子用猪肉哪个部位 臀尖) 天天快资讯

包饺子用猪肉哪个部位(包饺子用猪肉哪个部位 臀尖) 天天快资讯

1、包饺子用的猪肉通常是前腿肉、后腿肉、前臀尖肉,以及猪腹部的五花肉等。前腿肉瘦肉较多,肥肉集中在...
04-13 20:32:11
瑞银(UBS.US)聘请奥纬咨询协助整合瑞信(CS.US)事宜 世界热推荐

瑞银(UBS.US)聘请奥纬咨询协助整合瑞信(CS.US)事宜 世界热推荐

瑞银(UBS US)聘请战略咨询公司奥纬咨询就其整合瑞信(CS US)提供建议。
04-13 19:18:04
【环球时快讯】贵州大方:掀起5万亩烤烟生产春耕备栽工作热潮

【环球时快讯】贵州大方:掀起5万亩烤烟生产春耕备栽工作热潮

4月11日,在贵州省大方县理化乡的烤烟种植基地,烟农们来回穿梭在阡陌交错的田埂中,进行等距离打窝相关...
04-13 18:21:35
索尼新专利:检测语音输入并调节玩家负面情绪-焦点观察

索尼新专利:检测语音输入并调节玩家负面情绪-焦点观察

据gamesual消息,索尼可能正在开发一种系统,用于根据玩家的语音输入检测和调节情绪,来限制他们在游戏...
04-13 17:26:34
襄城区市场监管局:引导品牌建设 助推质量提升_全球速读

襄城区市场监管局:引导品牌建设 助推质量提升_全球速读

湖北日报客户端讯(通讯员:邓华平、窦泽鹏)4月13日,襄城区市场监管局组织业务骨干主动深入卧龙镇莲花...
04-13 16:39:28
绩溪县适之中学开展“厉行勤俭节约反对粮食浪费”主题承诺签名活动

绩溪县适之中学开展“厉行勤俭节约反对粮食浪费”主题承诺签名活动

民以食为天,食以安为先。为在校园内努力营造制止餐饮浪费,节约粮食的浓厚氛围,4月13日,安徽省绩溪县...
04-13 15:41:24
23四川路桥SCP001票面利率为2.7300%-天天热消息

23四川路桥SCP001票面利率为2.7300%-天天热消息

23四川路桥SCP001票面利率为2 7300%
04-13 15:08:24
4月13日正和集团油品报价上涨

4月13日正和集团油品报价上涨

产品4月12日4月13日涨跌单位:元 吨0 柴油7480757090元 吨92 汽油-8650-元 吨95 汽油---元 吨4月...
04-13 13:47:55
长沙严查建筑施工十类安全问题 坚决整治监管执法“宽松软”

长沙严查建筑施工十类安全问题 坚决整治监管执法“宽松软”

潇湘晨报长沙讯 长沙明确了建筑施工安全生产监督执法工作查什么、怎么查、如何罚的问题。4月11日,长沙...
04-13 12:39:53

为您推荐

精彩推送