20万奖金,等你来战!面向openKylin智能引擎的开源大模型推理优化赛火热报名中
openKylin AI PC版本是我国首个全开源端侧操作系统智能引擎。然而,端侧设备的计算资源(如 CPU/GPU/NPU)相对有限,难以原生支撑大模型的高效推理。在资源受限的端侧环境中优化大模型推理效率,是推动 openKylin智能引擎发展的关键所在。
近日,由开放原子开源基金会主办,OpenAtom openKylin(简称 “openKylin”)社区承办的开放原子大赛——面向openKylin智能引擎的开源大模型推理优化赛(简称“赛事”)正式启动,赛事以大模型推理优化为核心,汇聚前沿技术突破与工程落地能力,赋能openKylin智能生态,助推国产操作系统和新型计算架构的协同创新与广泛应用。诚邀全球开发者参与。
PART 一
赛事任务
本赛事涵盖面向 openKylin 端侧智能引擎的大模型推理优化的各种技术方向,包括但不限于以下重点方向:
(1)大模型压缩技术:使用低比特量化、剪枝、蒸馏等方法,减少模型参数规模和计算量,加速推理需解决问题:如何定制化大模型压缩策略以平衡推理效率和精度损失?
(2)大模型推理加速算法:包括高效运算内核设计、并行流水线优化、缓存调度策略等,加快推理速度需解决问题:如何综合数据并行、张量并行、管道并行、专家并行等方法,在最大化GPU吞吐量的同时满足部署资源约束?
(3)异构协同推理:探索在多种计算单元间协同调度,将任务分配到不同硬件资源上并行计算;需解决问题:如何根据推理任务特征,动态将计算负载分配到最合适的计算单元,使各类加速器资源得以充分利用并提高能效?
(4)RISC-V架构优化与支持:挖掘RISC-V架构中向量、矩阵等AI加速算力,构建易于使用的RISC-V AI开发框架需解决问题:如何构建和优化面向RISC-V的大模型推理框架、算子库和编译器,以弥补生态不足并发挥其指令集灵活性的优势?
(5)其他创新方向:如针对特定模型或应用场景的专用优化、自研轻量化推理框架等(若有疑问,可询问技术支持咨询选题可行性)需解决问题:如何通过模型剪枝、蒸馏、低秩分解等技术,尽量保持精度的同时大幅减小大模型的计算和存储开销,使其适配资源受限的端侧设备?最终提交的成果应包括详细的技术方案描述、实现代码和验证结果,使评审者能够复现和检验优化效果。详细请见作品提交。
PART 二
报名参与
赛事报名
报名扫码发送“智能引擎”加入群聊咨询
PART三
奖项设置
PART四
赛程安排
PART五
赛事机制
1.参赛对象
参赛对象可以为全球高校学生、个人开发者、企业开发者。
2.组队报名要求
截止报名前,参赛队伍需要在大赛官网进行报名。报名成功后在赛事微信群查看比赛动态。群中将分享比赛动态、服务接口和官方文档等材料,并为参赛队伍提供技术支持。
多人参赛时,参赛队伍应由2-3人组成,每队需要指定一名队长负责沟通与协调。
3.比赛规则
(1)初赛
各参赛队伍根据赛题要求进行实现,并提供技术方案描述文档。相关帮助文件将发送至比赛交流微信群。代码实现在初赛不做强制要求,但是必须有完整的设计验证说明,并确保具备最终的实现条件和演示条件。 初赛采用线上评审的方式根据评分结果,筛选20支队伍进入最终的决赛阶段。从第20名以后直接根据最终排名评选奖项,获奖必须有完整的文档、验证和代码提交。
(2)决赛 决赛采用线下竞赛方式,各参赛队伍必须根据初赛阶段提交的作品,按照竞赛专家组建议,进一步完善相关文档,完成最终的设计。需要提交可运行代码,具备可演示的运行环境,并能够进行现场演示和讲解。现场答辩根据评委的打分结果,排出最终的名次。
4. 作品提交
(1)参赛作品须符合本赛项及所属赛道方向,作品名称应能体现其主要特征。
(2)参赛作品必须为原创作品,不得侵犯任何第三方的专利权、著作权、商标权及其他知识产权,且不得违反国家相关法律法规,否则将取消该作品的参赛资格。
(3)作品允许使用他人开源代码,但必须在符合该代码的开源许可基础上,注明出处,以及与作品其它代码的依赖关系,提交作品时,必须在分析设计文档中明确说明作品中其他开源代码的协议、作用及所占比例。
(4)作品应能正常运行并可达到预期结果。作品应与设计文档描述的功能一致,如未能实现设计文档中描述的所有功能,应注明未实现功能及其所占比例和重要程度。
(5)参赛作品的代码注释量应足够高,原则上不得低于代码量的5%。