2024 ASC世界大学生超级计算机竞赛(ASC24)已进入预赛阶段,通过预赛选拔的队伍将参加4月9日-13日在上海大学举行的总决赛。来自全球各地的300多支高校队伍正在挑战一道人工智能难题——大语言模型推理优化。参赛队伍需要基于LLaMA2-70B大模型构建推理引擎,考虑多种优化方法,实现高吞吐推理,直面大语言模型应用落地的考验。
目前生成式人工智能呈现“百模争秀”,随着大模型训练开发快速进展和应用逐步落地,对大模型推理性能和成本的优化已经受到业界高度重视。大模型落地面临的困难,一方面是大模型的结构决定了推理解码阶段计算效率低、难优化;另一方面,几百亿参数规模的大模型很难单卡部署,涉及多卡并行,需考虑通信开销。
为了让大学生认识到大模型推理的重要性,激发他们对这一领域的学习热情,ASC24超算竞赛设置了大模型推理赛题。要求参赛队伍基于流行的开源大语言模型LLaMA2,构建并优化推理引擎,在组委会提供的1万样本数据集上实现尽可能高的推理吞吐量。该模型具有700亿参数,需要使用并行计算,因此该赛题还将考察参赛队伍的并行优化能力。组委会鼓励参赛队伍充分考虑自身集群的架构特征,构建定制的高性能推理引擎。此外,为了防止参赛队伍仅关注低精度优化,只允许使用FP16或BF16精度。参赛学生需要在他们提交的优化方案中,详述推理过程、集群规格、优化方法以及取得的结果。要想在这道赛题中取得佳绩,各参赛队伍需要充分了解并掌握大模型常见的并行方法,并学习使用各种技术来优化推理过程。
大模型推理赛题专家、智源研究院大模型行业应用负责人周华表示,LLaMA2-70B大模型基于Transformer,其中自注意力模块对计算存储资源消耗最大,在算法软件实现、算子实现,甚至软硬件结合等多个层次可以进行大量的优化工作。大赛鼓励参赛队伍做更多更深的优化工作,将大模型的推理性能提升到极致,也期待竞赛中涌现出令人惊喜的高质量创新成果,未来顶尖人工智能科学家也许就来自本次参赛队伍当中。
大模型推理优化赛题,不但可以让参赛选手掌握大模型推理引擎的构建,探索更加有效的并行策略和推理加速技术,降低大模型应用落地难度,激发他们深度参与人工智能产业的热情,同时也预示着超级计算领域正在主动拥抱大模型,并将在大模型应用中发挥重要作用。
ASC世界大学生超级计算机竞赛(ASC Student Supercomputer Challenge)由中国发起组织,并得到亚洲及欧美相关专家和机构支持,旨在通过大赛平台推动各国及地区间超算青年人才交流和培养,提升超算应用水平和研发能力,发挥超算的科技驱动力,促进科技与产业创新。ASC超算大赛迄今已举行至第十一届,吸引来自全球六大洲上万名大学生报名参赛,是全球最大规模的大学生超算竞赛。
