中心团队关于虚拟试衣等论文被顶级会议ICLR 2023等录用
工程中心赵鸣博教授团队19级硕士生刘裕以第一作者被深度学习顶级会议ICLR 2023录用。同时在过去一年，20级硕士高山川以第一作者被多媒体检索顶级会议ICMR 2022录用, 20级硕士生曾凡楷以第一作者被数据挖掘顶级会议CIKM 2022录用。
会议简介：
ICLR，全称为「International Conference on Learning Representations」（国际学习表征会议），被认为「深度学习的顶级会议」，会议将于5月1日至5月5日举行。ICLR 是新兴的会议，在最新的谷歌学术期刊和会议影响力排名中位列计算机学科前列。
ICMR,全称为「ACM International Conference on Multimedia Retrieval」（国际多媒体检索会议,CCF评级B），CIKM,全称为「ACM International Conference on Information and Knowledge Management」（国际信息与知识管理会议,CCF评级B），分别是多媒体检索和数据挖掘领域顶级会议之一，在相关领域享有较高学术声誉。
论文介绍：
1. 论文题目：Arbitrary Virtual Try-On Network: Characteristics Representation and Trade-off between Body and Clothing
作者：Yu Liu, Mingbo Zhao, Zhao Zhang, Jicong Fan, Yang Lou, Shuicheng Yan
发表会议：ICLR
指导教师：赵鸣博教授
基于深度学习的虚拟试衣系统存在无法任意换装、存在伪影等问题。在本文中，我们首先采集了包含上衣、裤子和全身装的数据集，每种款式都包涵丰富的种类和特征。基于此数据集，我们提出了任意换装网络（AVTON），用于任意款式换装任务，并且能权衡保留服装和人体特征，以生成逼真的图像。该网络主要包含三部分：首先是肢体预测模块（LPM），用于预测肢体；其次是服装扭曲模块（IGMM），采用了Wendland径向基函数替代TPS，能够根据人体形状、动作形成局部扭曲，以生成合身的服装；最后提出了权衡融合模块（TOFM），用于改善服装和人体融合过程中特征保留的问题。提出的方法在VITON和采集的数据集上显著优于最近的虚拟试衣方法。
图1 本文方法的框架图
图2 本文方法的定性实验结果
2. 论文题目：Fashion Image Search via Anchor-Free Detector
作者： Shanchuan Gao、Fankai Zeng、Lu Cheng、Jiacong Ma、Mingbo Zhao
发表会议：ICMR
指导教师：赵鸣博教授
服装图像检索是解决如何在海量在线数据中根据提供的服装图像，快速搜索相似或相同款服装问题的关键性技术。现有服装检索框架分为两步式和一步式框架。一步式框架检测和检索分开，无法共用特征图，造成推理时间长和资源消耗多的问题。两步式框架大多数基于有锚框检测器，导致其不可避免地继承有锚框检测器的缺点。为了解决服装图像检索存在的问题，我们提出基于无锚框检测器的一步式服装检索模型，并行完成服装检测和检索功能。为了提取目标服装的特异化特征，我们提出掩码池化模块，实现Mask ID，利用全局分割分支输出的掩码信息，指导重识别分支在服装掩码对应区域内聚合服装的特征信息，获取掩码区域内服装的特有信息。最后为了提高跨域检索性能，我们引入了匹配损失来优化重识别分支中服装特征向量分布，使得不同服装特征远离，相同服装特征聚合。在DeepFashion2和Watch and Buy数据集上的实验表明，提出的方法的有效性和先进性。
图1 模型框架图
图2 服装图像检索定量结果
3. 论文题目：Joint Clothes Detection and Attribution Prediction via Anchor-free Framework with Decoupled Representation Transformer
发表会议：CIKM
作者：Fankai Zeng, Mingbo Zhao, Zhao Zhang, Shanchuan Gao, and Lu Cheng
指导教师：赵鸣博教授
工作简介：服装属性识别是用户自动描述服装特征的关键技术。基croped image的服装属性识别网络需要搭配额外的目标检测器，存在丢失全局信息以及工作流程冗长复杂的问题。在本文中，为了解决上述问题，我们提出了集成目标检测任务与属性识别任务的单阶段端到端网络，两个任务以并行方式推理运算，简化了整体流程，大大提高了识别速率。同时，我们对网络进行了两点改进：第一，为了改善单阶段多任务学习网络的特征优化问题，文中引入了一个基于Transformer设计的特征解耦器，通过学习dense query将骨干特征进行解耦。第二，在属性识别分支中提出了一种特殊的注意力策略并采用了更适合于属性识别任务的损失函数，以自适应地将属性关联关系集成到特征学习中，并避免分层属性的相互抑制。最后，大量的对比实验结果验证了所提出工作的有效性。
图1 本文提出的网络整体架构
图2 本文方法的定性实验结果