代表工作

项目

基于最新 CV 选择系统项目,用具体问题、架构与影响替代抽象定位。

P01
智能体基础设施生产 / 获奖

Coding Agent 与 Kernel Agent 基础设施

构建 Coding Agent 基础设施,使 IPD 效率提升 100%+;其中 Kernel Agent 获 2026 MLSys Challenge 第一名。

问题
当 AI 系统从研究原型走向产品级基础设施时,工程交付与 Kernel 优化会成为关键瓶颈。
方案
构建面向编码流程与高性能 Kernel 生成的 Agent 基础设施。
架构
Agent Harness 协调代码生成、优化、验证与工作流集成,服务 IPD 与 Kernel 级任务。
影响
IPD 效率提升 100%+;Kernel Agent 获 2026 MLSys Challenge 第一名。
Coding AgentKernel 生成MLsys Challenge工程效率
P02
AI 基础设施最佳实践

推理加速与 Transformer 软硬件协同设计

构建推理基础设施,并为 Transformer 混合注意力和大规模 MoE 在端侧设备上的部署进行软硬件协同设计。

问题
千亿参数模型推理受 prefill/decode 延迟、Kernel 效率,以及硬件存储与计算限制共同约束。
方案
结合量化、剪枝、Kernel 优化、高性能 Kernel 生成与 PD 分离式推理。
架构
协同优化模型结构、服务架构、Kernel 与端侧硬件约束。
影响
在最佳实践中 TTFT 与 TPOT 提升 50%+,并支撑 Transformer 混合注意力与大规模 MoE 的部署路径。
PD 分离式推理量化剪枝Kernel 优化MoE
P03
基础模型已部署

千亿参数 LLM 训练与部署

带领 20–30 人团队训练千亿参数级大语言模型,模型于 2023 年 9 月 C-Eval 排名第一,并于 2024 年 4 月 MMBench 排名第一。

问题
公共部门部署需要强中文推理、多模态理解和稳定任务适配,而不只是通用模型 Demo。
方案
带领团队完成千亿参数模型后训练、评测与客户部署。
架构
大模型训练与后训练流程连接评测、客户部署和下游公共服务应用。
影响
模型于 2023 年 9 月 C-Eval 排名第一、2024 年 4 月 MMBench 排名第一,并部署于公共部门客户。
千亿参数 LLMSFT / RLC-EvalMMBench