2022 年 2 月 18 日下午，AIR DISCOVER 青年科学家论坛第七期在清华大学智能产业研究院（AIR）如期举行。本期活动邀请到了清华大学电子工程系助理教授段岳圻作题为《数据是核心——深度学习在视觉大数据时代的挑战》的报告。

段岳圻，清华大学电子工程系助理教授，博士生导师。研究方向为计算机视觉、模式识别。2014年和2019年在清华大学自动化系分别获得工学学士和博士学位，2019至2021年在斯坦福大学计算机系担任博士后研究员，合作导师为美国两院院士Leonidas J. Guibas教授。在相关领域以第一作者身份发表国际顶级期刊、会议文章十余篇，包括TPAMI、TIP、CVPR、ECCV等，其中一篇TPAMI入选ESI高被引和热点论文。担任ICME大会领域主席，并曾获得中国人工智能学会优秀博士论文等。

段岳圻博士在本次报告中梳理了近年来计算机视觉领域算法与数据的发展，重点结合他自身的研究经历，指出了数据在计算机视觉的研究中起到的重要作用。“数据被喻为深度学习的食材”，段博士生动形象地分享了自己挑选深度学习“食材”的经验。

近年来，视觉数据发生了爆炸式增长，然而仅仅只有少数的样本具备训练价值。在训练集中，难负样本为神经网络训练提供了有效的梯度，而易负样本的梯度近似为零，难以支持有效训练。因此，难负样本挖掘在深度视觉表示学习中起到至关重要的作用。

而另一方面，基于搜索的方法在难负样本挖掘上时间成本过高，难以适应不断增长的视觉数据，且只能适用于某些简单的损失函数，应用范围受到限制。

常用难负样本挖掘流程

传统的数据采样方法在搜索中存在大量的冗余计算，缺乏深度学习中的泛化能力。

段岳圻博士在报告中介绍了他 2019 年发表于 CVPR 的工作。该工作提出了鉴别式采样策略的深度表征(DE-DSP)学习框架，由以下两部分构成：1) 学习有效抽样策略的深度采样网络；2) 将样本映射到特征空间的表征网络。深度采样器网络利用样本之间的强先验关系学习鉴别式采样策略，从而更高效地选取难负样本，避免通过前向传播穷尽地计算所有样本。

在策略学习过程中，采样网络只需要在 Mini-batch 上训练。

鉴别式采样策略学习流程

实验结果表明，该框架具有更快的收敛速度和更强的鉴别能力。

实验结果

为了进一步提高难负样本的数量，有必要提高易负样本的难度，从而生成难负样本。

段岳圻博士介绍了另外一篇发表于 ECCV 2018 的工作，该工作提出了一个深度对抗度量学习（DAML）框架，由观测的负样本生成难负样本。现有的度量学习方法容易忽略大量易负样本信息，而DAML则利用这些易负样本生成与学度量网络对抗的潜在难负样本。

深度对抗表征学习流程

在CUB-200-2011、Cars196和Stanford Online Products三个基准数据集上的大量实验结果表明，DAML通过对抗学习有效地提高了现有深度度量学习方法的性能。

实验结果

点云是一种重要的三维数据表示方法，广泛应用于许多重要的应用领域。近期研究利用深度神经网络能够有效处理三维点云，然而点云的采样模式能够对任务表现产生巨大的负面影响。在下面的例子中，两种不同的采样模式对神经网络的表现有不可忽略的影响： 

对 Mesh 的两种不同采样方式

采样方式对实验结果的影响

三维对抗攻击能够基于该原理设计。三维对抗攻击可归纳为两种类型：1) 影响局部点分布的点摄动 2) 引起几何变化的表面畸变。

一项2021年段博士参与的工作中，作者将几何约束和统计分布约束应用在点云点坐标上。前者旨在通过隐式表达恢复点云表面，后者则鼓励点呈均匀分布。

三维点云样本优化流程

实验结果表明，IF-Defense对PointNet、PointNet++、DGCNN、PointConv和RS-CNN等现有的三维敌方攻击都达到了目前最先进的防御性能。

实验结果

段岳圻博士提出了基于合成样本的深度学习的前景，并结合 AlphaGo 的例子具体阐述。

报告的最后，段岳圻博士总结了合成数据的优势：真实的数据犹如未经加工的食材，并不完全适合网络学习，而合成的数据价值更大，且更易获取。

合成数据的未来

报告结束后，现场的老师同学们与段岳圻博士积极互动并探讨议题。在探讨业界与学界对于数据处理的些许差异时，段岳圻博士指出，学界主要还是针对不同的任务选择样本挖掘的方法，并没有固定的策略。而谈及半难样本时，段岳圻博士认为，半难样本实际上是最具有样本的，而最难的样本可能会破坏网络，例如训练网络识别双胞胎可能会对学习成果产生很大的破坏，因此目前还需要刻意剔除最难的样本。

现场同学参与讨论

参考文献：

Duan Y, Chen L, Lu J, et al. Deep embedding learning with discriminative sampling policy[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 4964-4973.

Duan Y, Zhu H, Wang H, et al. Curriculum deepsdf[C]//European Conference on Computer Vision. Springer, Cham, 2020: 51-67.

Wu Z, Duan Y, Wang H, et al. If-defense: 3d adversarial point cloud defense via implicit function based restoration[J]. arXiv preprint arXiv:2010.05272, 2020.

Duan Y, Zheng W, Lin X, et al. Deep adversarial metric learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 2780-2789.

Lin X, Duan Y, Dong Q, et al. Deep variational metric learning[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 689-704.