点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:智源研究院发布大规模并行训练效率提升器
首页> 科普频道> 科普头条 > 正文

智源研究院发布大规模并行训练效率提升器

来源:《中国科学报》2021-04-29 09:39

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  近日,北京智源人工智能研究院(简称智源研究院)发布大规模并行训练效率提升器TDS。作为超大规模智能模型系统“悟道”的阶段进展,TDS(Tsinghua/Temporary DeepSpeed)插件将进一步优化现今最流行的DeepSpeed 并行计算框架,从而“多快好省”地训练一个大模型。

  据介绍,数据、算法、算力是当前人工智能技术崛起的重要驱动力。利用海量数据训练大规模机器学习模型,有助于人类充分学习数据中蕴含的知识,达到更好的训练效果。

  然而,随着训练规模的扩大,单张GPU卡的显存与计算效率已经无法满足训练的需要,通过分布式训练框架实现多GPU并行训练成为了一种新的刚需。为了提升多GPU并行训练的效率,研发更高效的并行计算框架十分必要。

  为应对大规模计算集群高效训练方法的需求,智源研究院发挥其在硬件设计、模型架构、编程框架研发等方面的优势,组织智源“悟道”团队科研人员研发了 TDS 插件,对当下主流的并行计算框架进行了优化。

  据介绍,TDS 插件重新实现了DeepSpeed的流水线,通过适配器模式封装了DeepSpeed 的其它功能,该插件十分易于使用。如果已经完成了对 DeepSpeed 的安装,只需要将TDS的代码拷贝到工程中,然后加载 DeepSpeed 库即可。(郑金武)

[ 责编:张梦凡 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 逐梦海天 青春滚烫——记海军山东舰起降保障中队

  • 创新潮涌链博会

独家策划

推荐阅读
从意大利实验室到西北农学院,从抗战时期到和平年代,周尧用70年时光让中国昆虫学从5%的定名权走向自主。
2025-07-18 09:06
记者从会上获悉,截至今年6月,我国每万人口高价值发明专利拥有量已达到15.3件,提前实现“十四五”规划预期的12件目标。
2025-07-18 09:04
而在此次观测中,天文学家发现,在HOPS-315及其周围的原始星盘中,不仅存在固态的结晶矿物,还存在气态的一氧化硅。
2025-07-18 09:04
旨在充分发挥计量支撑产业新质生产力发展的基础保障作用,推动“溯源链、创新链、产业链”融合发展,使计量成为促进产业新质生产力发展的催化器和引擎。
2025-07-18 09:04
该所作物耐逆性调控与改良创新团队日前联合国内外研究机构,构建了首个水稻的多器官单细胞多组学图谱,
2025-07-18 04:30
太阳是地球气候系统的主要能量来源,其活动通过总辐射、紫外辐射、高能粒子沉降等多种形式影响地球大气。近年来,我国夏季降水雨带呈现出持续北移的趋势。
2025-07-18 04:30
人机语言交互的“温度”,其核心在于能否实现情感共鸣、文化适配与价值传递。语言不仅是信息符号,更是心灵沟通的桥梁。为冰冷的代码注入人文温度,需在技术突破与设计理念上双轨并进。
2025-07-17 04:30
近日,中国科学院海洋研究所万世明团队,基于海洋沉积物中的黑碳记录,重建了过去30万年以来东亚北部的古火演化历史,结合欧洲、东亚、东南亚及澳大利亚区域的记录以及考古遗址大数据,发现现代人类大规模用火始于约5万年前。
2025-07-17 04:30
在飞行器大家庭中,有一类特别的成员——翼伞。它们没有刚硬的机翼,却凭着一片巨大柔软的“翅膀”,借助风力优雅地翱翔于天际;它们结构看似简单,却蕴含着空气动力学的精妙智慧。翼伞是融合古老降落伞原理与现代智能科技的独特柔性无人飞行器,包含翼、控制系统、负载,如果加上推力系统,就可化身为伞翼无人机。
2025-07-17 04:30
近年来,移动电源行业呈现出较为迅速的发展趋势。与此同时,移动电源安全事故频发,严重威胁消费者生命财产安全。通过制定强制性国家标准,
2025-07-17 03:55
由该院枸杞科学研究所联合中国林业科学院林业研究所编制的《枸杞属植物新品种特异性、一致性、稳定性测试指南》获得国际植物新品种保护联盟通过。
2025-07-17 04:00
武汉华大生命科学研究院联合南方科技大学等单位,在单细胞水平上成功解密了拟南芥叶片衰老的过程。
2025-07-16 10:44
不只是产量最大,“深海一号”大气田还是我国迄今为止自主开发建设的作业水深最深、地层温压最高、勘探开发难度最大的深水气田。
2025-07-16 10:42
我国正研制《卓越工程师培养认证标准》,该标准是保障卓越工程师培养从“样板间”走向宏大队伍的基础。
2025-07-16 10:39
七月下半月和八月上半月是我国主汛期的最重要阶段,应急管理部指导各地加强灾害风险隐患信息报送队伍建设,开展广泛培训,目前总人数已达115万人。
2025-07-16 10:25
为强化未成年人网络保护,营造良好网络环境,近日,中央网信办印发通知,在全国范围内部署开展为期2个月的“清朗·2025年暑期未成年人网络环境整治”专项行动。
2025-07-16 10:23
新时代新征程,以中国式现代化全面推进强国建设、民族复兴伟业,实现新型工业化是关键任务。
2025-07-15 04:10
现阶段,人工智能赋能新型工业化已取得明显成效,但仍存在人工智能关键硬件与开源软件储备不足、人工智能在重点行业领域应用率偏低、人工智能领域人才短缺且结构不合理、缺乏适应人工智能发展的标准体系和法律法规等问题。
2025-07-15 04:10
2025年可谓人形机器人的“破圈”之年。从蛇年春晚舞台的机器人扭秧歌,到北京亦庄的机器人马拉松,再到浙江杭州的机器人格斗赛……人形机器人正从“实验室”迈向各类“应用场”。
2025-07-15 02:55
科考船在狂风巨浪中剧烈摇摆,寻找渺小的目标如同大海捞针。回收沉睡海底半年的海底地震仪,是这次出海科研任务中最艰难的一环。“快看!在那儿!”随着一声疾呼划破沉寂,
2025-07-15 02:55
加载更多