619号站外队员黄涛回校分享模型轻量化技术

619号站外队员黄涛回校分享模型轻量化技术

文| 640号队员 周展科

6月5日晚7点，Dian团队例会在启明学院305教室举行。本次例会邀请到619号队员黄涛，为大家带来AI模型轻量化的相关技术分享。本次分享串联了神经网络搜索、模型剪枝、知识蒸馏和模型量化四个部分，是一场理论与实际紧密结合、关乎AI算法落地应用的精彩报告。

图1 黄涛在做技术分享

黄涛是计算机科学与技术学院20届毕业生，现任商汤科技研究员，主要负责智能车舱业务人脸识别以及人脸状态算法的研发。在校期间，黄涛曾任团队AI项目组核心骨干，参与了贝贝智能客服和人脸关键点等项目。

本次分享中，黄涛首先鞭辟入里地点出了当今AI算法落地的两大挑战：一是AI技术应用场景愈发复杂，算法功能和复杂度也相应地增大，高精度的模型是普遍的要求；二是运行算法的硬件平台，逐渐从云端的高算力服务器迁移到边缘终端设备，这对模型参数量和计算量提出了更高的要求。针对上述两个挑战，核心问题是：如何在提升模型精度的同时，降低模型计算量和参数量？这便引出了模型轻量化算法，支撑该算法的体系由前述的四项技术组成。黄涛在分享中结合算法原理、个人理解和实际应用场景，图文并茂地展开了详细讲解。对于神经网络搜索，他先从问题定义的角度，介绍了神经网络搜索的核心任务和通用框架；对于模型剪枝，他比较了传统方法和基于自动化机器学习的方法，并通过大规模数据集的实验结果说明自动化机器学习的优越性；对于知识蒸馏，他通过生动的插图为大家解释了“老师”模型和“学生”模型的学习机制，并用队员们身边的例子和接地气的语言解释了复杂的机器学习概念，如知识蒸馏任务中优化目标的约束程度；对于模型量化技术，即将浮点运算转换为整型运算的一种模型压缩技术，他重点介绍了（非）均匀量化、（非）对称量化等多种量化方式的原理及优缺点，以及在指定软硬件环境下，如何选择合适的量化技术和背后潜在的风险。在讲解完每项技术之后，黄涛都推荐了数篇精选的相关文献，供感兴趣的队员进一步探究。

分享的最后，黄涛通过发问“如何做好一个项目？”，对自己的团队生涯做了简要的回顾和总结，给队员们传授自己在AI项目中积累的经验。在随后的讨论环节中，团队导师和在站队员对黄涛的分享内容展开了热烈交流，既有对技术原理的深入探讨，亦有对个人发展的路径规划，可谓各抒己见。

次日，黄涛在例会分享的基础上，为队员们带来了更为详细和深入的、关于神经网络结构搜索的第二场技术分享，介绍了自己主导的、发表于ICLR、CVPR等顶级会议的多项科研工作，让队员们领略到学界与业界相互关联的精妙之处。

本次返校之旅，黄涛为队员们带来了两场高水平、高质量的技术报告，开拓了队员们的技术视野和科研思路，在此衷心感谢黄涛心系团队，为我们带来的精彩分享，也祝愿黄涛未来工作和深造一切顺利。