报告题目：面向深度学习的并行编码计算

报告专家：闫起发 西南交通大学 副教授

报告时间：2023年11月04日（周六）上午10:00-10:45

报告地点：南教1-120报告厅

线上平台：腾讯会议 会议ID：153 622 933

报告摘要：近年来，大模型取得空前的发展，驱动研究人员思考大模型的计算问题。本报告简要介绍大模型的并行计算方法，包括数据并行、张量并行和流水线并行，并且介绍英伟达给出的将三种并行方案有效融合的GPU并行架构。其次，针对给出一个通过梯度编码增加计算冗余的编码计算方案。梯度编码将解码求和函数作为解码目标，从而实现计算与通信的折中，特别是能根据实时的掉队节点个数，实现最优通信负载。最后，结合大模型的计算需求，讨论几个值得思考的重要问题。

专家简介：闫起发博士于2010年毕业于山西大学数学科学学院，获得数学与应用数学专业学士学位；于2017年毕业于西南交通大学信息科学与技术学院，获得通信与信息系统专业博士学位。在 2017 年 11 月至 2019 年 10 月期间，在法国巴黎高等电信学院和高等电力-中央理工学院做联合博士后研究；于 2020 年 1 月至 2021 年 1 月之间，在美国伊利诺伊大学芝加哥分校计算机工程系的做博士后研究工作。2021年3月回国加入西南交通大学信息科学与技术学院，现为副教授，主要研究方向为分布式编码与计算、信息论与人工智能。闫起发博士在通信与信息领域发表SCI论文20余篇，国际会议论文10余篇，主持国家自然科学青年基金、专项项目子课题各一项，2021年入选四川省“天府峨眉计划”青年人才。