浅谈深度学习在图像复原与合成中的应用

题  目：浅谈深度学习在图像复原与合成中的应用

主讲人：张宇伦  苏黎世联邦理工学院计算机视觉实验室博士后研究员

时  间：2023年4月5日 周三16:00-18:00

地  点：腾讯会议（会议号：140-254-977）

内容简介：基于深度学习的图像复原与合成，在当今计算机视觉领域扮演着基础而重要的角色。相关技术被广泛应用到移动设备（比如，手机）或者催生一批高估值创业公司。然而，如何设计高效的深度卷积神经网络，以此来提取更高质量的特征，进行更好的图像复原与合成，仍然颇具挑战性。此次报告，我将介绍我们近期在通道与空间维度上增强深度特征的一些工作。对于图像复原，我先简述我们提出的残差密集网络，然后介绍residual in residual (RIR)结构来训练非常深的图像超分辨率网络。这种RIR结构使得网络能学习到更多高频信息，这种信息对重构高质量输出至关重要。之后，我将探索注意力机制（比如，通道和空间注意力，Transformer，Diffusion等）在图像复原任务中的应用。对于图像合成，我将介绍基于图割的多峰风格变换。我们将高维深度特征进行降维并且可视化，以此发现了风格深度特征的多峰分布现象。进而将风格匹配问题归结为能量最小化问题并用图割的方法来求解该问题。因此，图像匹配中变换后的特征包含了更多空间语义信息，能提供更多视觉效果更好的风格化效果。此外，我们还探索了高放大倍数下，皇家永利纹理迁移的图像合成问题。最后，我将结合我们近期的一些相关工作（比如，生物医学图像分析，模型剪枝与量化等），给出一些个人的浅见和展望。

主讲人简介：张宇伦，苏黎世联邦理工学院计算机视觉实验室博士后研究员。2009-2013年，本科就读于西安电子科技大学电子工程学院智能科学与技术专业。2014-2017年，硕士就读于清华大学自动化系，硕士期间曾在南洋理工大学，悉尼大学及中科院深圳先进技术研究院等机构从事访问研究。2017-2021年，博士就读于美国东北大学电子与计算机工程系。博士期间，先后在Adobe与哈佛大学从事实习和访问研究。他的主要研究方向是图像/视频复原与合成，生物医学图像分析，模型压缩，计算成像等。他目前在计算机视觉，机器学习，多媒体等领域的国际期刊（如TPAMI）和会议（如CVPR, ICCV, ECCV, ICLR, NeurIPS）上发表学术论文60余篇。目前，谷歌学术引用11000余次，单篇一作论文引用3200余次。获得6项中国授权专利和3项美国授权专利，专利技术被应用到Adobe Photoshop软件。获得2015年IEEE VCIP最佳学生论文奖，2019年IEEE ICCV RLQ Workshop最佳论文奖。担任CVPR 2023, ICCV 2023, NeurIPS 2023领域主席(AC)，IJCAI 2021-2023, AAAI 2023资深程序委员(SPC)，NTIRE Workshop组织者之一，TPAMI, IJCV, ICCV, ECCV, ICLR, NeurIPS, ICML等期刊和会议审稿人。

办单位：科学技术发展研究院 计算机科学学院