香港浸会大学韩波老师与老队员周展科来访Dian团队

香港浸会大学韩波老师与老队员周展科来访Dian团队

文| 795号队员 周睿科

2024年6月7日，香港浸会大学助理教授韩波老师与他的博士生，团队640号队员周展科来访Dian团队。当天下午，韩波老师参观Dian团队各项目组，并赞扬了Dian团队“干中学”的培养模式。当日晚19点，Dian团队于亮胜楼305室举行本周例会，例会主题为韩波老师的学术报告及老队员周展科的科研经历分享。

例会第一项是韩波老师的学术报告，主题为“Trustworthy Foundation Modelsunder Imperfect Data”。其中，“Imperfect Data”主要包括三点：Out-of-Distribution Data、Gaussian Noise和Jailbreak Prompt。

韩波老师首先以OOD Detection 作为引入，其中，OOD (Out-of-Distribution Data) 指的是在训练模型时未见过的、其特征或标签分布与训练数据存在显著差异的数据。接着，他通过大量的图例生动地介绍了在OOD Detection过程中遇到的困难与挑战，主要包括三点：1. 缺乏对训练过程中未知因素的监督 2. 高维空间中存在巨大的未知空间，很难在训练数据中预先包含OOD数据；3. 高容量神经网络会加剧过度自信的预测。随后，韩波老师为我们介绍了OOD Detection工作中一个可行的解决方案：负标签引导的OOD detection。以公式、伪代码、实验图表为引，韩波老师深入浅出的讲解令在场的队员们都收获良多。

图1 韩波老师介绍OOD Detection

学术报告的第二部分是高斯噪声对数据的影响。韩波老师以一个常见的图像生成任务：图像插值为切入点，为我们展示了常规方法的效果。在这项任务中，常用的方法（球面线性插值）在自然图像上表现不佳。接着，韩波老师介绍了他的学生在这项问题上的进展：提出了“NoiseDiffusion”架构，通过“噪声匹配”的方式，来提高输出图像的质量。

学术报告的第三部分与“Jailbreak Prompt”有关，其中，“Jailbreak Prompt”是一种特定类型的提示，用于试图绕过或突破人工智能所设定的安全和伦理限制，引导模型生成原本被设计为不应该生成的内容。韩波老师为在场队员们展示了提出"Jailbreak Prompt"的一些有趣的方式，包括通过Base64编码原提示词、在提示词结尾添加肯定性话语等。最后，他简要介绍了LLM架构，通过让大模型想象一个具体的场景，借由多层的嵌套故事，将不当指令传递给大模型，使其遵循我们的指令，生成有害内容。

韩老师分享结束之后，老队员周展科同学以自身的科研经历向在场师生分享了他的体会和感悟。他的分享主要包括三个部分：“How to do research correctly”、“How to do research independently”、“How to do research profoundly”。首先，周展科介绍了自己在本科毕业之后博士入学之前的Gap Year期间，跟随姚权铭师兄在第四范式实习的经历与知识图谱推理相关的研究，并展示了自己总结的输入-输出-交流的工作流图，并特别强调了“Output, get feedback, and update”的重要性。

图2 周展科介绍自己的研究历程

随后，周展科主要介绍了自己在香港学习与读博的经历，包括论文撰写与参会历程，并与我们分享了他完成一个独立项目的平均周期：六到八个月。他展示了完成一项独立研究的三个部分：Idea、Experiment、Writing，并介绍了他的研究过程中这三个部分的时间占比及重要性占比。在这个环节中，周展科也邀请了在座旁听的学长来回答这三个部分在他们的研究过程中的占比问题，每个人各有异同的观点和经历引人思考。

最后，周展科主要谈及自己对于研究的兴趣及一些个人见解。在分享的过程中，在场与会队员中有意前往香港浸会大学深造者也积极向他提问。在谈到科研与工程的区别时，他提到自己的理解：“做研究就像是一个从‘0’到‘1’的过程，而做工程则更倾向于是一个从‘1’到‘100’的过程。如果你更享受前者，那么你可能比较适合去读博，至少对于我来说是这样的。”更有意思的是，周展科学长的本科同学，目前正留校读博的朱良辉学长也来到了现场，并和他的老同学针对“被拒稿的痛苦体验”进行了深入的交流，科研人的共鸣引得全场老师同学们哈哈大笑。

本次内容丰富的例会持续了两个小时有余。在经历了韩波老师的“头脑风暴”并旁听了各位学长丰富多彩的个人经历后，在场队员们都自觉有了丰富的收获，例会在满场回荡的掌声中散场。