您当前位置: 首页  >  新闻中心  >  学院新闻  >  正文

学院新闻

2021级博士赵海睿的论文被计算机网络领域顶级会议INFOCOM2025接收

发布日期:2024-12-13 发布人: 点击量:

澳门永利最老登录入口李洪亮副教授指导的2021级博士研究生赵海睿的论文“ArrayPipe: Introducing Job-Array Pipeline Parallelism for High Throughput Model Exploration”CCF A类会议INFOCOM 2025接收。论文第一作者为赵海睿,通讯作者为李洪亮副教授,其他合作者包括2023级硕士生田琦、美国天普大学吴杰教授、2022级硕士生张蒙、2020级博士生徐哲文及澳门永利最老登录入口高性能计算中心徐海啸等。

该论文主要面向大规模深度学习(DL)模型训练过程中批量调参带来的高资源消耗问题,在3D混合并行范式基础上,提出了一种全新的在批量作业间进行共享资源的新思路。该论文的主要贡献是利用批量调参作业(sibling jobs)共享模型结构的特点,建立了一种支持状态重用的批量作业快速切换机制,提出了全新的批量作业流水线并行范式(Job-Array Pipeline Parallelism),进而设计和实现了相应的训练框架和资源调度算法。该成果可与流行的3D混合并行模式相结合,实现批量调参作业间的资源共享,从而显著提高大型深度学习模型的训练效率。

IEEE International Conference on Computer CommunicationsINFOCOM)是计算机网络和通信领域最具影响力的会议之一,CCF推荐A类会议。


Baidu
sogou