跨镜追踪技术背景

跨镜追踪系统,主要利用行人重识别技术依据人物穿着、体态、发型等信息来判断图像或视频序列中是否存在特定的行人,可与人脸识别技术相结合,解决跨镜头场景下在人脸被遮挡、距离过远时的人物身份识别。

跨镜追踪示意图

跨镜追踪的研究意义

跨镜追踪系统通过实时、自动化分析视频流中人物身份信息,能够实现对特定人物跨时间、跨空间的布控追踪和即时定位,对公安监视追踪嫌疑人、物业排查可疑人员均能提升效率,减少因时间成本造成的事态恶劣化,且能极大程度上避免工作人员因倦怠、脱岗等因素造成误报和不报情况,切实提高监控区域的安全防范能力。由于监控系统场景中人脸多数情况下不清晰,因而业界普遍采用行人重识别(Person Re-Identification, 简称ReID)算法实现跨镜追踪,其对人脸清晰度、人脸角度、摄像头位置的敏感度较人脸识别低,在今年爆发的新冠肺炎疫情期间,基于ReID技术的一套跨镜追踪系统就为疫情防控立下了功劳,因此ReID算法也备受关注。

行人重识别算法检索示例图

跨镜追踪的研究难点

配合式场景人脸识别近几年已逐步商用化,但在视频监控场景下,人脸质量往往不高或人脸不可见,因此多数情况下无法发挥作用,而ReID算法实际场景下准确率也较低,仍存在不少研究难点,总结如下:
1、行人数据严重缺失
由于涉及到隐私以及行人数据需要在不同镜头下采集同一人同时间段内出现的画面,导致数据集构建受到限制,数据的缺失是跨镜追踪技术突破的首要难点。
2、实际应用场景复杂
相比于人脸,人体由于具有多个肢体关节点属于软体,在实际监控场景下人物会以各种姿态、角度出现在镜头中,增加了人体检测和识别的难度,加上不同时间段光线的差异、建筑物的遮挡等,都对人物身份的准确识别提出了挑战。
3、变装场景下失效
主要依靠提取人物衣貌外观特征来实现人体识别的行人重识别技术无法直接用在变装场景下(如季节性换装),目前只能支持小范围内的短时搜索。

跨镜追踪系统构成

为克服ReID算法自身限制,充分发挥其优势,实现对视频画面中人与物的实时定位,可采用将人脸及人体技术相结合的思路。通过将人脸与人体技术相融合,并结合动作识别,使系统能通过摄像机实时自动的准确识别人物,“发现警情”并主动“分析”,对已经出现或将要出现的安全威胁,及时向安全防卫人员发出警报,切实提高监控区域的安全防范能力。

动态人脸识别模块

不同于闸机、门禁静态刷脸场景,视频监控属于动态人脸识别应用场景,人物运动模糊和人脸遮挡的情况经常出现,人脸角度多为偏俯拍情况,光线也更复杂,目前在动态场景人脸识别领域,业内平均水平万分之一误识率下识别率约为90%,相比静态场景的99.9%还相差较大。但对于视频监控领域,由于不涉及到支付交互和认证交互,业务场景本身对人脸识别的准确度具有较为宽限的容错度。针对动态场景下的人脸识别,我们主要从人脸检测和低质量人脸识别两个维度进行改善。
人脸识别算法极大程度上受限于数据量,我们采用GAN生成的方式自造人脸数据,以训练得到更高性能的模型,生成图片示例如下:

通过变换角度、表情、年龄扩充人脸数据

将一张人脸图片通过性别、年龄、脸型、种族几个维度进行变换,丰富人物id数目,再通过角度、光照、表情的变换丰富每个人物id的数据广度。此外为同时有效提升戴口罩面部识别效果,基于面部关键点算法拟合出人物戴口罩图片。

行人重识别模块

行人重识别算法的原理同人脸识别类似,通常采用表征学习或者度量学习得到特征提取模型,目前在公开数据集Market1501上算法的Rank-1最高记录在98%左右,业界平均水平也已达到92%左右。但在实验环境下一定程度上存在过拟合,实际场景下的效果仍不理想。
为达到较好的行人重识别效果,我们将其与人脸识别相结合,实现实时动态创建行人库,满足对目标人物的360度追踪,使其在变装场景下也有效:
• 在换装场景下,基于人脸识别创建人体图像库,在监测到同一人衣着不同时进行行人库的及时更新;
• 在人脸分辨率过低、人脸不可见的情况下,基于人体重识别进行人物追踪定位,使系统满足在复杂场景下的人物实时追踪。
同时增加人脸属性、人体属性以得到一些辅助标签,减小搜索范围,使在人脸不完全可见的情况下,ReID仍能有效工作。

动态人脸库管理模块

通过动态创建人脸库的策略,可以提升陌生人员的管控效率,将陌生人员的记录查询范围降低了至少2个数量级,同时可实现对任意目标可疑人员的快速查找定位分析。由于陌生人员的记录数据量会随时间积累逐渐增多,直接在所有记录中查询陌生人的识别记录耗时非常大。通过在人脸识别后增加质量判断,将人脸质量合格的陌生人员添加至陌生人库中进行管理的方式,能够很大程度上节约搜索耗时。当搜索陌生人记录时,只需要将待搜索人员图片与陌生人底库做一次特征匹配即可,可实现百万量级图片下的搜索秒级响应。