摘要：出勤率对于企业，办公场所，大学课堂十分重要，良好的出勤率既可以保证工作稳定有序的运行，也能提高成员的工作热情^[1]；同时这些场所也是安全意识亟待提高的重灾区，在大学的实验室，企业的办公楼失窃事件屡见不鲜。本文针对实验室成员考勤以及实验室安全的具体场景，在MTCNN训练模型上增强鲁棒性，在传统的优秀视觉算法局部二进制编码直方图（LBPH）的基础上，加以改进，提出基于敏感特征识别的SLBPH算法，在数据测试集FEI和CASIA FACEV5上识别率均有明显提高，可以在CPU上高速准确识别多数人员，并进行后台签到；对于陌生成员，有提取面部图像功能并标识。

关键词：MTCNN；SLBPH；敏感特征；块特征匹配

（Southwest Jiaotong University）

Abstract: Attendance is very important for enterprises, office places, and university classrooms. Good attendance can not only ensure stable and orderly work, but also enhance the enthusiasm of members. At the same time, these places are also the hardest hit areas for security awareness. In the laboratory, the theft of corporate office buildings is not uncommon. In this paper, based on the specific scenes of laboratory members' attendance and laboratory safety, the robustness is enhanced on the MTCNN training model. Based on the traditional excellent visual algorithm local binary coding histogram (LBPH), the improved feature recognition is proposed. The SLBPH algorithm has significantly improved recognition rates on the data test set FEI and CASIA FACEV5. It can accurately identify most people on the CPU and perform background check-in. For the stranger, the facial image function is extracted and identified.

多人脸检测识别首先需要有效的检测，能否最多的检测出人脸是识别正确率的重要保障，在非限制人脸的条件下，由于人的面部姿态各异，存在光照，遮挡，图像的分辨率等给人脸的检测识别造成很大困难，检测正确率十分不理想^[1]；此外，人脸识别虽然是一个非常火热的研究课题，但多数成果都是基于静态，限制人脸状态下的识别，随着神经网络的深入研究，目前在该条件下单一人脸的识别率可以达到99.65%^[10]，苹果，谷歌等一些科技公司的识别率甚至可以达到99.99%。但在训练神经网络需要海量的数据，昂贵的硬件设备以及长时间的参数调试，这为后续的实际应用带来诸多不便。传统的机器算法局部二进制编码直方图(LBPH)因其原理简单，结构清晰，计算复杂度适中，且在硬件设备上方便实现的特点，得到广泛应用^[3]。本文在充分研究LBPH算法后，受深度学习神经网络中的多卷积核启发，改变LBPH算法在匹配过程中的权重问题，提出基于敏感特征识别的SLBPH算法。实验表明，在FEI数据集上使用改进后的算法较原始LBPH算法识别率提高了1.5%，在CASIA FACEV5数据集上提高了3.2%。并在实验室考勤的具体场景中取得良好效果。

最初的LBP算子为3*3窗口，以中心像素为阈值，邻域的八个像素与之比较，小于置为0，大于或等于置为1。然后从左上角开始形成八位二进制码，再转换为十进制数值，即得到中心像素LBP码，如图2-1。

 

 

 

此外该算法最大的优点是对光照强度不敏感，能够很好的从不同光照强度中提取纹理特征。仿真结果如图2-2所示。

 

但是算法存在旋转改变性以及局部纹理描述固定性的缺点，此外编码模式较多也是原始算法的一个重要弊端。

随后Timo Ojala等人在LBPH算法上进行改进，他们的一系列思路改进是具有里程碑意义的:1、提出圆形算子计算模型，改变局部的纹理描述范围以及采样点的个数；2、对采样点进行循环移位，取最小LBP码作为该局部纹理的表达值，以此解决了图像旋转改变性的缺点；3、提出等价模式的思想，从根本上减少编码的种类，极大的缩减的算法的计算量^[3]。

随后由于LBPH算法对光照的鲁棒性较强，计算速度较快，得到诸多研究人员的应用；2017年Xuemei Zhang等人在原始算法基础上提出基于领域像素中值的方法（MLBPH），即不再使用纹理中心像素的灰度值作为与采样点比较的阈值，而是采用周围领域采样值的中值来代替纹理中心的灰度值，然后用该中值再与采样值比较，使用该方法后，得到的二进制编码0和1的数量分布总是相等的，作者实验表明该方法优于原有LPBH算法^[4]。

接着Rudy Hartanto等人深入研究了人脸识别认证系统，将LBPH算法应用于用户识别认证，实验结果表明，LBPH算法识别速度较快，但是由于采用的人脸检测算法鲁棒性较差，导致识别结果较低^[2]。

2018年O.S.Kulkarni等人采用LBP提取特征，采用KNN分类器进行人脸识别，在正常光照和改变光照强度条件下进行了两组实验，分别取得90%和80%的识别正确率，然而KNN分类器极易受到k值的影响，识别结果很不稳定^[5]。

张伟等作者提出了基于Gabor小波和LBPH联合应用的算法，采用Gabor小波核函数进行卷积计算，得到人脸的多张特征图像，再将所有的特征图像串联在人脸特征空间，在此基础上配合局部二进制编码直方图提取特征，采用数据相似度进行人脸分类,最后在嵌入式系统进行实现，达到实时识别人脸的效果^[6]。

MOHANNAD A.ABUZNEID和AUSIF MAHMOOD在人脸识别实时应用的基础上为了提高识别正确率，提出了增强型的人脸识别框架，采用LBPH描述器，multi-KNN以及BPNN神经网络。作者的主要贡献是通过原始训练数据制作了全新的数据集Y-Dataset，用于BPNN网络学习，此外作者还指出，目前大多数KNN分类器使用的是欧氏距离，而不同的相似度距离公式对结果会有很大的影响。此外文章的亮点是作者将机器学习算法与神经网络相结合并取得较高的识别正确率^[7]。

基于上述的研究与讨论，为了更好的应用于实验室成员识别认证的问题，本文的工作主要从提高人脸检测鲁棒性和人脸识别率两个方面进行。

2016年，张等人认为人脸检测和人脸对齐存在潜在联系，将其联合起来同时进行取得了最优的检测效果。在训练阶段主要集中在三个任务：人脸/非人脸的二分类为题、边界框回归、人脸特征点定位。人脸检测可以看成一个二分类问题，针对识别系统要求，提高样本多样性复杂性，尤其是人脸发生偏转的样本比例，可以很好的改善人员检测效果，同时采用经典的交叉熵函数计算损失：

为图像是人脸的概率值， 为人脸图像标签， 。

边界框回归相量是预测候选框到真实框的接近程度，为四维相量，采用欧式距离计算：

为候选框回归的目标框， 为样本的真实框。

MTCNN包含三个子网络也是检测的三个阶段，Proposal Network(P-Net)首先获得人脸区域的候选框和边界回归向量，并利用后者对候选框进行校准，通过非极大值抑制(NMS)高度合并候选框；Refine Network(R-Net)进一步通过边界回归和NMS去掉假阳性区域得到唯一准确的候选框；最后Output Network(O-Net)输出人脸的五个关键点。后续的人脸识别算法改进正是基于五个特征点展开的。效果如图3-1所示：

 

 

由于MTCNN在640*480大小的图像上可以快速捕捉20*20的微小面部^[9]，可以极大的提高人脸检测的召回率。由于该算法对面部遮挡，旋转的鲁棒性较差。采用FEI dataset训练网络，将训练样本进行随机裁剪，旋转后得到扩充的数据集，强化训练，最后得到适合本实验场景的训练模型，新的训练模型对于面部位姿倾斜，表情各异的人脸，都可以有效检测。部分样图及修正如图3-2所示。

 

 

 

 

与人脸检测不同，人脸识别重点在于特征的匹配，更具体的说是一种分类任务，通过提取当前人脸的特征，然后同数据库中数据匹配，距离最小且在规定阈值范围内的人脸被认为可识别。LBPH算法更注重局部特征的提取，对光照变化有很强的鲁棒性。

对于整幅原始图像得到的LBP码构成的依然是一幅图，如图3-4所示，依然不能直接提取特征，需要将整幅图分割成若干子块（分割方式不唯一，此处以10*10为例），对每一个子块进行像素统计得到局部像素分布直方图，这样便可以得到一个10*10维特征的相量，该相量反应了原始图全部的纹理信息。图3-5是从LBP图（360*260）中提取的100个局部像素直方图，每一个直方图都可以十分精确的刻画图像的一部分。

 

 

人脸识别的关键是找到相同人脸的的共同点，区分不同人脸的特点。难点在于同一张人脸具有多样的表情变化，拍摄角度或姿态的差异，眼镜等饰品的遮挡，这些改变可以轻易的影响到相似度判别，图3-6展示了采用LBPH算法计算时，随着识别样本增加，不同人脸的欧式距离出现了小于相同人脸的欧氏距离，根据距离最小匹配原则，则会出现识别错误。因此进一步缩小同类距离，扩大异类距离^[10]，增加不同人脸的区分度是提高识别率的关键。

从图3-6中不难发现同一人脸不同表情的欧式距离大多数情况下小于不同人脸，但是这种差异随着人脸增多而逐渐减小，甚至消失。为了增加人脸区分度。本文提出局部敏感纹理加权（SLBPH）的方法可以极大提升差异度，即缩小类内距离，扩大类间距离[5]。实验表明，像素直方图的差异主要集中在眼睛，眉毛，鬓角，鼻子，嘴角等这些纹理突出的特征，而MTCNN在人脸检测的同时采用对准算法，标记出人脸的左右眼，鼻子及左右嘴角，而这些特征也正是人脸被识别最显著的特征；LBPH算法着重采集人脸的局部信息相量，结合MTCNN和LBPH将重要信息相量进行加权，即提高眼部，鼻子，嘴角等面部信息的重要度，而图像边缘的信息减少相量权重甚至忽略，这样可以极大提高识别率，在限制人脸的数据集中，满足实时性的同时，相比LBPH算法提高了1.50%的识别正确率。

我们将输入的人脸分为（4*4）区块，提高局部信息的灵敏度，并标记编号0-15，采用圆形算子计算LBP码。眼部，鼻子，嘴角等面部信息主要集中在图中红色编号标注的10个区域如图3-7，我们将这些区域特征抽取出来转化为块相量与数据库信息比对，10个块特征相量作为10处局部敏感纹理信息。计算时，有一个特征吻合则标志位flag加一，否则flag减一，以此类推，若十个特征全部吻合，则意味着比对的两张人脸具有100%的可能为同一张人脸，考虑到吻合阈值误差记为90%，若九个特征吻合，一个不吻合则代表80%的可能，两个块特征的距离差小于一定的阈值便视为吻合，根据flag计算的系数a与块特征距离差(dis)的乘积作为敏感纹理信息的距离差，参加最后的人脸距离计算，系数a见公式(3)，最后的人脸距离差见公式(4)，敏感纹理信息直方图如图3-8所示。算法的其他内容不做修改。

 

 

我们在FEI数据集和CASIA FACEV5数据集上进行实验测试，FEI数据集包含200个人的共计400张正面人脸照片，每人两张，且存在细微的表情差异，属于限制人脸状态；CASIA FACEV5数据集(样例如图4-1)包含了500个人的共计2500张人脸照片，每人五张，且面部表情，面部姿态，光照条件各不相同，属于非限制人脸状态。

 

 

 

 

 

 

我们做如下三组实验测试：

实验三：

将改进的算法用于实时检测，每帧的用时在0.2s-0.3s之间满足实时性要求。在限制人脸状态下取得理想的识别效果，实验结果如图4-2。

 

 

 

本文主要做了两方面的内容：

1重新训练MTCNN人脸识别模型，增加样本实例，包括人脸部分遮挡，以及人脸偏转的图片样例，极大满足实验室人脸检测识别的鲁棒性，

2在视觉算法LBPH基础上提出了基于敏感特征加权的改进算法SLBPH，在FEI数据集和CASIA FACEV5数据集上分别取得了1.5%和3.2%的提高并满足实时性要求。

3、联合MTCNN和LBPH进行仿真实验。

本文依然存在有待提高改进的地方，在计算系数a时涉及到块匹配阈值的设定仍然需要进一步实验研究。

 

[6] 张伟，程刚等. 基于Gabor小波和LBPH的实时人脸识别系统[D]. 兰州大学.2018.

[8] Patrik Kamencay et al. Accurate Wild Animal Recognition Using PCA,LDA and LBPH[J]. University of Zilina ,Univerzitna IEEE 2016.

 

作者简介：

张玉云，西南交通大学信息科学与技术学院，从事通信信息研究，网络基础，计算机视觉研究。