大学生做兼职的网站有哪些/关键词搜索排名怎么查看

摘要
在本文中，我们提出了一个新的深度框架，它预测面部属性并将其作为一种软模态来提高面部识别性能。我们的模型是一个端到端框架，由卷积神经网络（CNN）组成，其输出被扇形化为两个独立的分支;第一个分支预测面部属性，而第二个分支标识面部图像。与仅使用共享CNN特征空间共同训练这两个任务的现有多任务方法相反，我们将预测属性与面部模态中的特征融合以提高面部识别性能。实验结果表明，我们的模型对面部识别和面部属性预测性能都有好处，特别是在性别面部属性（如性别预测）的情况下。我们在由身份和面部属性注释的两个标准数据集上测试了我们的模型。实验结果表明，所提出的模型优于目前大多数现有的人脸识别和属性预测方法。
1.引言
深度神经网络，特别是深度卷积神经网络（CNN），在视觉任务中提供了显着的改进，例如人脸识别，属性预测和图像分类。尽管取得了这一进步，但设计一个深层模型来共同学习不同的任务，同时通过共享学习参数来提高其性能仍然是一个具有挑战的问题。
向基于CNN的人脸识别模型提供辅助信息可以提高其识别性能;但是，在某些情况下，此类信息仅在训练期间可用，并且可能在测试阶段不可用。尽管使用辅助数据具有潜在的优势，但这些问题已经降低了在生物识别应用中使用软模式和硬模式的流行性和灵活性。
我们提出了一个模型，它共同预测面部属性并识别面部同时利用预测的面部属性作为改善面部识别性能的辅助模态。我们还表明，当我们的模型被联合训练以识别面部图像和预测面部属性时，面部属性预测的模型性能也会增加。换句话说，在我们的模型中，一旦他们共同训练，这两种方式会改善彼此的表现。我们展示了一些软生物信息，例如年龄和性别，它们本身对于面部识别来说不够独特，但是，提供补充信息以及其他主要信息，例如面部图像。
尽管面部识别性能有了显着改善，但它仍然是计算机视觉中持续存在的问题。文献中有许多方法将面部属性用于生物度量应用，例如面部识别。例如，Wang等提出了一种约束人脸识别模型用于关节面部属性预测和人脸识别的属性。在该模型中，首先更新网络的参数以用于属性预测，然后针对面部识别微调相同的网络。而Ranjan等人则增加了其他与面部相关的任务来提高整体绩效。他们的模型是单个多任务CNN网络，用于同时进行面部检测，面部对齐，姿势估计，性别识别，微笑检测，年龄估计和面部识别。
作为语义特征的面部属性可以直接从面部图像预测，或间接地从其他面部属性预测。属性预测方法通常分为局部或全局方法。局部方法包括三个步骤;首先，他们检测到对象的不同部分，然后从每个部分中提取特征。最后，连接这些特征以训练分类器。例如，Kumar等人的方法基于从十个面部部位提取手工制作的特征。 Zhang等提取姿势对齐面部部位来预测面部属性。如果对象定位和对齐不完美，则此方法无法正常工作。然而，全局方法从整个图像中提取特征而忽略对象部分，然后在提取的特征上训练分类器;如果图像中存在大的面部变化（例如遮挡，姿势和光照），则这些方法执行不正确。
近年来属性预测得到了改进。 Bourdev等提出了一种基于部分的属性预测方法，该方法部署语义分割，以便将局部信息从语义面部解析的辅助任务转移到面部属性预测任务。 Liu等使用两个级联的CNN;第一个，LNet，用于面部定位，而第二个，ANet，用于属性描述。 Zhong等人首先定位人脸图像，然后使用设计用于人脸识别的现成架构来描述CNN不同级别的人脸属性。 He等提出了一个用于相对属性预测的多任务框架。该方法使用CNN分别从中间卷积和完全连接的层学习局部上下文和全局样式信息。
我们的网络受到多任务网络的启发，但我们将属性预测器的输出融合到面部识别层中，这使得它与其他现有的多任务方法不同，例如Wang等人的方法。我们的深CNN模型由两个级联网络构成，其中最后一个由两个分支组成，每个分支分别用于面部属性预测和面部识别。这两个分支通过共享模型中第一网络的参数以及融合属性分支与面部识别分支的最后一个池化层来将信息通信在一起。在我们的模型中，在每个训练步骤中同时更新所有参数（即两个级联网络的参数）。
我们工作的贡献总结如下：
1）我们设计了一种新的端到端CNN架构，该架构学习预测面部属性，同时以面部识别的目标进行训练。我们的模型共享学习参数以训练两个任务，并且还融合属性信息和面部模态以改善面部识别性能。
2）与仅使用共享CNN特征空间共同训练这两个任务的现有多任务方法相反，我们的模型使用特征级融合方法来利用面部属性来改善面部识别性能。此外，我们观察到，我们共同训练的网络是比单独训练面部属性更有能力的面部属性预测器。
本文的其余部分组织如下：CNN架构在第2节中描述，属性和面部模态的融合在第3节中描述，模型训练参数在第4节中描述，最后，结果和结束语在第5和第6部分。
2.深部关节面部属性预测和人脸识别模型
所提出的架构预测面部属性并将其用作识别面部图像的辅助模态。该模型由两个连续的级联网络构成，如图1所示。第一个网络（net @ 1）使用VGG 19结构[26]，具有相同的滤波器大小，卷积层和池化操作。第一个网络应用具有3×3感受野的过滤器。卷积步幅设置为1像素。为了在卷积之后保持空间分辨率，对于所有3×3卷积层，卷积层的空间填充被固定为1个像素。空间汇集由放置在第二，第四，第八和第十二卷积层之后的四个最大汇集层和放置在第十六卷积层之后的一个全局平均池化（GAP）层执行。最大池化在2×2像素窗口上进行，步长为2.每个隐藏层之后是整流线性单元（ReLU）[16]激活功能。 GAP层是我们模型中的一个重要过程，因为忽略GAP层并用最大池层替换它，当我们将面和属性模式融合在一起时，融合层的输出将具有非常高的维度。 GAP层简单地取得从最后一个卷积层获得的每个特征映射的平均值。由于在GAP层没有优化参数，因此在该层防止过度拟合。
第二个网络（net @ 2）被分成两个独立的分支，同时通过训练过程将信息传递到一起。这两个分支都包括在第一网络的输出上操作的两个完全连接（FC）层。每个分支的第一个FC层（图1中的Fc1和Fc’1）由4096个单元组成。 （Fc1）和（Fc’1）的下一层是完全连接的层，在其上进行软最大操作。第一个分支执行属性预测任务，并且在执行softmax操作之前该分支中的最后一个FC层的输出通过使用Kronecker产品与net @ 1的GAP层融合。最后，这个融合层用于训练第二个分支 - 面部识别任务。如图1所示，属性由net @ 1和net @ 2参数的第一个分支预测，而面部图像由net @ 1和net @ 2中的所有参数标识;整体提出的架构如图1所示。
3.面部属性和面部模态的融合层
以前，特征连接已被用作多模态融合的方法。在这项工作中，我们使用Kro-necker将面部属性功能与面部特征融合在一起。由于两个矢量（即属性和面部特征）的Kronecker乘积在数学上由矩阵直积产生，因此在该层没有可学习的参数，因此在该层处过度拟合的可能性很低。此外，我们认为，由于面部属性特征和面部特征之间存在相关性，融合层的输出神经元易于解释并且在语义上是有意义的。 （即，它们并不复杂，但它只是高维度）。因此，网络的以下层很容易解码这些有意义的信息。假设v和u分别是属性和面部的特征向量。这两个向量的Kronecker乘积定义如下：
4.训练我们的CNN架构
在本节中，我们将描述如何训练模型。需要成千上万的图像来训练如此深刻的模型。出于这个原因，我们通过在ImageNet数据集上预先训练的CNN初始化net @ 1参数，然后我们使用CASIA-Web Face数据集将其作为分类器进行微调。 CASIA-Web Face包含10,575个主题和494,414个图像。据我们所知，这是最大的公开面部图像数据集，仅次于私人Facebook数据集。
所提出的深度网络被描述为两个级联网络的连续。 net @ 1由输入上的16层卷积运算构成，与ReLU非线性运算和五个池化运算交织在一起。每个卷积层中的权重形成序列
4-d张量; $W\in R^{l\times c\times p\times q}$其中l，c，p和q分别是沿滤波器，通道和空间宽度和高度的轴的权重的维度。为了表示简单，我们用W1表示net @ 1中的所有权重，用W2表示net @ 2中的权重。 W2被分成两组$W_{2,1}$和$W_{2,2}$，分别代表第一和第二分支中的所有权重。
（2）和（3）中描述的L1和L2分别是设计用于执行属性预测和面部识别任务的损失函数。我们使用交叉熵作为我们的网络丢失函数。 T，C和$X={x_i}_{i=1}^N$分别表示模型中使用的面部属性的数量，类的数量和训练样本。 Li’和Lji分别表示属性j和训练样本i的面部标签和面部属性标签。 f和g函数分别是用于属性预测和面部识别任务的网络输出。 f '和g’分别是对f和g输出执行softmax后的结果。（2）和（3）中表示的损失函数显示了net @ 2的两个分支如何传递信息并相互更新它们的学习参数。如（2）和（3）所示，f函数（属性预测输出）将W1和W2,1作为输入。 g功能（面部识别输出）以W1，W2,2和f为输入。因此，属性预测和面部识别都使用W1作为共享参数。此外，属性预测参数和W2,2用于面部识别。
我们使用Adam优化器[15]来最小化我们的网络损失函数。 Adam优化器是一个强大且适应性强的优化器，可应用于深度神经网络领域的各种非凸优化问题。 使用作者的建议初始化Adam优化器中使用的所有参数值; 我们将学习率设置为0.001，以最大限度地减少我们网络的损失功能。
优化算法主要包括两个步骤，第一步计算损失函数相对于模型参数的梯度，然后，第二步，连续更新偏置的第一时刻估计和模型参数。
我们通过几个时期迭代该算法用于完整的训练批次，直到实现训练误差收敛。
5.实验
我们对两个不同的案例进行了实验，以检查我们的模型是否提高了识别和预测任务的整体性能。在第一种情况下，我们训练和测试模型以单独执行两个任务，而在第二种情况下，我们使用我们的模型来共同训练两个任务。然而，在第二种情况下，我们预测面部属性假设这些信息在测试阶段不可用，然后在执行soft-max操作之前输出属性预测分支与net @ 1的最后一个汇集层融合。使用Kronecker产品。我们将面部模态与诸如性别和面部形状之类的面部属性融合在一起，这在人的所有图像中保持相同。实验结果表明，与第一种情况相比，我们的模型提高了人脸识别和属性预测的整体性能。我们在两个GeForce GTX TITAN X 12GB GPU上进行了实验。在执行非线性之前，我们在每个卷积和完全连接层之后使用批量归一化（即，将输入移位到零均值和单位方差）运行我们的模型100个时期。批量标准化可能有助于实现更快的学习以及更高的整体准确性。此外，批量标准化允许我们使用更高的学习速率，这可能提供另一个速度提升。我们使用TensorFlow来实现我们的网络。所有实验中的批量大小固定为128。
5.1。数据集
我们在CelebA数据集上进行了面部属性预测的实验，以及MegaFace，这是一个广泛使用和众所周知的面部识别人脸数据集。
CelebA是一个大型的，注释丰富的人脸属性数据集，包含超过200K的名人图像，每个图像都标有40个面部属性。 CelebA拥有大约一万个身份，平均每个身份有二十张图像。该数据集也由五个地标注释。数据集可以用作面部属性预测，面部检测和地标（或面部部分）定位的训练和测试集。为了公平地比较我们的方法和其他方法，我们使用他们使用的相同设置。我们使用8000个身份的图像进行训练，剩下1000个身份用于测试。这里有火车和测试装置
MegaFace是一个公开可用且非常具有挑战性的数据集，用于评估具有多达一百万个干扰者的人脸识别算法的性能（即，多达一百万不在测试集中的人）。 MegaFace包含来自690K个体的1M图像，具有无约束的姿势，表情，光照和曝光。 MegaFace捕获许多不同的主题，而不是少数主题的许多图像。 MegaFace的图库集是从Flickr的子集中收集的[31]。挑战中使用的MegaFace探针集由两个数据库组成; Facescrub [21]和FGNet [9]。 FG-NET包含975个82个人的图像，每个图像有多个图像，年龄范围从0到69. Facescrub数据集包含超过100K的530人脸部图像。 MegaFace挑战通过增加图库集中的干扰物数量（从10到1M）来评估人脸识别算法的性能。训练大小很重要，因为已经证明，在大型训练集上训练的人脸识别算法往往在规模上表现更好。为了公平地评估人脸识别算法，MegaFace挑战有两个协议，包括大型或小型训练集。如果训练集具有超过0.5M的图像和20K的对象，则认为它是大的。否则，它被认为是小的。我们使用一个小的训练集，有0.44M图像和10k科目。我们实验中设定的概率是Facescrub。
5.2。评估指标
我们在MegaFace数据集上评估模型的人脸识别性能;和CelebA数据集上的面部属性预测性能。 MegaFace数据集未通过面部属性进行注释。然而，我们的模型预测面部属性，然后将它们用于面部识别。为了在MegaFace数据集上进行实验，我们恢复了在CelebA数据集上训练的模型参数，该数据集由面部属性和人物识别注释，然后在MegaFace数据集上微调模型参数以实现面部识别的目标。 MegaFace数据集。我们的模型从我们建筑的第一个分支预测面部属性，并使用这种辅助模态进行面部识别。
面部识别：我们计算图库集中的每个图像与来自探针集的给定图像之间的相似性，然后基于所获得的相似性对这些图像进行排序。在面部识别中，图库集应包含至少一个具有相同身份的图像。我们通过使用秩-1识别精度以及累积匹配特征（CMC）曲线来评估我们的模型。 CMC是基于排名的度量，指示可以在来自图库集的前k个相似图像中找到的正确图库图像的概率。
面部属性预测：我们利用身份面部属性作为辅助模态来改善面部识别性能。身份面部属性是不变属性，其从人的不同图像保持相同。例如，性别，鼻子和嘴唇形状在人的不同图像中保持不变;然而，诸如眼镜，胡须或胡须之类的属性可能存在于人的不同图像中，也可能不存在于人的不同图像中。我们在模型中放弃了这些属性，因为我们寻找强大的以及不变的面部属性。 CelebA数据集中的身份面部属性如下所示：窄眼，大鼻子，尖鼻子，胖乎乎的，双下巴，高颧骨，男性，秃头，大嘴唇和椭圆形脸。我们使用精度度量来评估属性预测器。
5.3比较方法

属性预测：我们将我们的方法与几种竞争算法进行比较，包括FaceTracer，PANDA [37]，ANet + LNet [19]和MT-RBM-PCA [8]。 FaceTracer [17]从一些功能面部图像区域中提取包括颜色直方图和HOG在内的手工艺特征，然后连接这些特征以训练SVM分类器以预测属性。功能区域通过使用地面实地标志来确定。 PANDA主要是通过创建一个用于身体属性预测的几个CNN的集合来提出的。该模型中的每个CNN使用poselet从良好对齐的人体部分中提取特征。接下来，连接所有提取的特征以训练用于身体属性预测的SVM。然而，对于我们的情况，很容易调整该方法用于面部属性预测，使得面部部分使用界标点对齐。在ANet + LNet方法中，前8000个身份的图像（大约162k图像）被用于预训练和面部定位。接下来的1000个身份的图像（大约是20k图像）用​​于训练SVM分类器。我们使用相同的测试和训练集来进行我们的实验。我们将模型与其他属性预测方法进行比较。表1显示了一旦模型联合训练两个任务，身份面部属性预测的模型改进。结果表明，联合训练对性别，秃眼，窄眼，大嘴唇，大鼻子，椭圆脸，年轻，高颧骨和胖乎乎的属性的贡献较大。
面部识别：我们将我们的方法与面部识别的现有方法进行比较，这些方法是从MegaFace2的官方网站上报告的。我们主要与公开发布的方法进行比较，详细信息已知。这些方法列举如下：谷歌FaceNet [24]，中心损失[34]，减轻CNN [35]，LBP [1]和联合贝叶斯模型[6]。
商业公司还有其他一些方法，如FaceAll，NTechLAB，SIAT MMLAB，Bare-BonesFR，3DiVi公司，其细节尚未为社区所知。因此，我们不能公平地比较这些方法;但是，我们报告这些方法以提供有关Megaface数据集的参考的完整列表。图3表示不同方法的CMC曲线;结果表明，与其他方法相比，我们的模型覆盖了曲线下面积更大的区域。当模型联合和分别训练面部属性预测和面部识别时，我们还比较了我们的模型性能。结果表明，我们的面部识别器受益于联合训练。我们还通过秩-1识别准确度来比较算法的性能;表2使用秩-1识别准确度度量比较MegaFacedataset上的面部识别模型。结果显示了我们模型的优越性。我们还观察到，如果模型训练归属并且与模型单独训练的情况相比，模型性能增加约2.5％。
5.4。更深入的分析

表2中的实验结果表明，我们的模型通过利用身份面部属性来改善面部识别性能。为验证此声明，我们针对前面描述的两种不同情况进行了实验。在第二种情况下，我们强调预测面部属性，因为在真实的面部识别场景中，这些信息在测试阶段是不可用的。为了在我们提出的面部识别模型中使用面部属性作为辅助模态，我们将这种模态与图1中所示模型的最后一个模糊层融合在一起。我们的模型使用预测属性的第二种情况优于第一种不使用任何权限数据的情况。
实验结果表明，共同训练这两项任务不仅可以提高人脸识别性能，还可以提高面部属性预测性能，尤其是性别等身份面部属性。例如，在CelebA数据集上进行的实验表明，脸部属性的表现，包括窄眼，大鼻子，尖尖鼻子，胖乎乎的，双下巴，高颧骨，男性，秃头，大嘴唇和椭圆形脸，平均提高了约2％这些任务是共同训练的。此外，如表2所示，我们提出的模型优于用于身份面部属性预测的现有技术方法的准确性。引起这种改进的一个直观原因是，一旦我们的深CNN模型被训练以识别面部图像，它还学习更准确的面部属性以便执行更好的面部识别。换句话说，这两种方式一旦被联合训练，就会增强彼此的表现。
表2还表明，使用面部属性作为特权数据可以提高面部识别任务的模型性能。我们的模型击败了MegaFace数据集挑战中使用的大多数人脸识别算法。
受[39]关于类激活图的工作的启发，我们解释了由我们提出的架构做出的预测决策。图4显示了分别用于预测大鼻子，大嘴唇，窄眼和秃头的类激活图。我们可以看到，我们的模型是由不同预测的图像的不同语义区域触发的。图4显示我们的模型由于使用GAP层也学习定位相同面部属性的常见视觉模式。此外，从我们的属性预测器分支获得的深度特征也可以用于任何给定图像中的通用面部属性定位，而无需使用任何额外信息，例如边界框。
六，结论
在本文中，我们提出了一种端到端深度网络来预测面部属性并同时识别面部图像，具有更好的性能。 我们的模型通过共享的CNN特征空间联合训练这两个任务，并且还将预测的身份属性模态与面部模态特征融合在一起，以提高面部识别性能。 与单独训练模型的情况相比，该模型增加了面部识别和面部属性预测性能。 实验结果表明该模型与目前的人脸识别模型相比具有优越性。 该模型还比现有技术模型更好地预测身份面部属性。