面向大模型训练,腾讯云发布新一代高性能计算集群
通过对处理器、网络架构和存储性能的全面优化,腾讯云攻克了大集群场景下的算力损耗问题,能为大模型训练提供高性能、高带宽、低延迟的智算能
数智前线 2023-04-14 12:58:50
4月14日,腾讯云正式发布新一代HCC(High-Performance Computing Cluster)高性能计算集群。该集群采用腾讯云星星海自研服务器,搭载英伟达最新代次H800 GPU,服务器之间采用业界最高的3.2T超高互联带宽,为大模型训练、自动驾驶、科学计算等提供高性能、高带宽和低延迟的集群算力。
实测显示,腾讯云新一代集群的算力性能较前代提升高达3倍,是国内性能最强的大模型计算集群。
大模型进入万亿参数时代,单体服务器算力有限,需要将大量服务器通过RDMA网络相连,打造大规模算力集群。通过对处理器、网络架构和存储性能的全面优化,腾讯云攻克了大集群场景下的算力损耗问题,能为大模型训练提供高性能、高带宽、低延迟的智算能力支撑。
(资料图)
网络层面,计算节点间存在海量的数据交互需求,随着集群规模扩大,通信性能会直接影响训练效率。腾讯自研的星脉网络,为新一代集群带来了业界最高的3.2T的超高通信带宽。实测结果显示,搭载同样的GPU,3.2T星脉网络相较1.6T网络,能让集群整体算力提升20%,让超大算力集群仍然能保持优秀的通信开销比和吞吐性能。并提供单集群高达十万卡级别的组网规模,支持更大规模的大模型训练及推理。
存储层面,几千台计算节点同时读取一批数据集,需要尽可能缩短加载时长。腾讯云自研的文件存储、对象存储架构,具备TB级吞吐能力和千万级IOPS,充分满足大模型训练的大数据量存储要求。
底层架构之上,针对大模型训练场景,新一代集群集成了腾讯云自研的TACO Train训练加速引擎,对网络协议、通信策略、AI框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。
腾讯混元大模型背后的预训练框架AngelPTM,也已通过腾讯云对外提供服务,帮助企业加速大模型落地。
去年10月,腾讯基于自研的高性能计算集群和预训练框架AngelPTM,完成了首个万亿参数大模型训练,并将训练时间缩短80%。腾讯混元AI大模型,已经覆盖了自然语言处理、计算机视觉、多模态等基础模型和众多行业、领域模型,广泛应用于腾讯微信搜索、腾讯广告等自有业务场景,提升搜索体验和广告推荐的精准度。
在腾讯云上,企业基于TI 平台的大模型能力和工具箱,可结合产业场景数据进行精调训练,提升生产效率,快速创建和部署 AI 应用。
此前,腾讯多款自研芯片已经量产。其中,用于AI推理的紫霄芯片、用于视频转码的沧海芯片已在腾讯内部交付使用,性能指标和综合性价比显著优于业界。其中,紫霄采用自研存算架构,增加片上内存容量并使用更先进的内存技术,消除访存能力不足制约芯片性能的问题,同时内置集成腾讯自研加速模块,减少与CPU握手等待时间。目前,紫霄已经在腾讯头部业务规模部署,提供高达3倍的计算加速性能,和超过45%的整体成本节省。
目前,腾讯云的分布式云原生调度总规模超过1.5亿核,并提供16 EFLOPS(每秒1600亿亿次浮点运算)的智算算力。未来,新一代集群不仅能服务于大模型训练,还将在自动驾驶、科学计算、自然语言处理等场景中充分应用。
以新一代集群为标志,基于自研芯片、星星海自研服务器和分布式云操作系统遨驰,腾讯云正通过软硬一体的方式,打造面向AIGC的高性能智算网络,持续加速全社会云上创新。
通过对处理器、网络架构和存储性能的全面优化,腾讯云攻克了大集群场景下的算力损耗问题,能为大模型训练提供高性能、高带宽、低延迟的智算能
1、打开淘宝APP,点击“我的淘宝”,点击评价。2、找到已评估的订单产品,然后单击“评估”。3、评估并输入相应的评估信息
本网讯(草原全媒·正北方网记者郑慧英)4月13日,记者从内蒙古交通运输厅了解到,当前,全区沙尘天气频繁,为保障人民群众出行安全,自治区各
4月12日,据中国药物临床试验登记与信息公示平台显示,默沙东已经在国内启动了皮下注射PD-1单抗MK-3475A的3期临床试验,拟用于治疗转移性非小
4月13日,登海种业(002041)融资买入276 32万元,融资偿还283 94万元,融资净卖出7 62万元,融资余额2 21亿元。
1、裸婚指的是不买房、不买车、不办婚礼、不买婚戒直接登记结婚的现象。2、它一方面体现了现代社会对婚姻理解的转变,不仅是一个家族的选择,
1、上年度职工平均工资指上一年度平均工资发布地区的职工平均工资,平均工资的口径按照关于工资总额的规定计算,现在一般是以省
需要分两种情况。1 外部环境光线较强时,例如白天,手机暗屏幕因为看不清楚所以较伤害眼睛。2 外部环境较暗时。例如晚上关灯以后,手机屏幕亮
1、肯德基有外带全家桶,缤纷假日桶(深海鳕鱼条 桑巴烤鱿鱼串 黄金芝士鸡球 海苔鲽鱼柳)四种全家桶肯德基外带全家桶包括:
奥亚尔——老手段老套路今天下午我就发了,关于奥亚尔体检那个事不靠谱,因为他和他的团队一直把体检作为家常便饭,他本人来体检并不能说明什
4月13日晚,长城旗下魏牌首款中大型新能源SUV——魏牌蓝山DHT-PHEV正式上市,共计推出2款配置车型,官方指导价27 38-30 88万元。官方表示,蓝
直播吧4月13日讯今日,篮网球员丁威迪在《RunItBack》节目中谈到了库兹马。丁威迪表示:“在一支好的球队中我
上周四,Epic平台公布了喜加一游戏阵容,其中包括多人打僵尸游戏《消逝的光芒:增强版》,领取活动即将于今晚11点结束,还未领取的玩家可要抓
路遥的短篇小说《人生》讲述了主人公高加林奋斗与沉沦的人生故事,围绕着这部小说曾产生过各种标签:改编自路遥的真实经历、80
2023厦门国际会展周特色亮点介绍拓展国际交流邀请国际大会及会议协会(ICCA)、国际展览与项目协会(IAEE)、亚洲展览会议协会联盟(AFECA)、金砖国家与