(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210297620.0 (22)申请日 2022.03.25 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 赖剑煌　张权　 (74)专利代理 机构 深圳市创富知识产权代理有 限公司 4 4367 专利代理师 高冰 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于渐进性的全局-局部特征行人重识别方 法及系统 (57)摘要 本发明公开了一种基于渐进性的全局 ‑局部 特征行人重识别方法及系统， 包括步骤： 步骤1、 准备输入数据， 输入图片数据， 所述图片数据来 自随机挑选的行人ID； 步骤2、 特征提取， 提取输 入数据的全局特征fg和局部特征fl； 步骤3、 对所 述全局特征fg和局部特征fl计算损失函数， 以交 叉熵损失函数、 困难三元组损失函数和达到最小 化为目标去优化训练模型。 本文的方法强调两种 特征学习时的时序先后性和交互性， 在网络模型 中先对全局特征进行提取， 然后在全局特征的约 束下进行局部特征的学习。 由于加入了全局特征 的约束， 缓解了特 征内部的语义间 隔现象。 权利要求书2页 说明书6页 附图1页 CN 114743216 A 2022.07.12 CN 114743216 A 1.基于渐进性的全局 ‑局部特征行人重识别方法， 其特 征在于， 包括 步骤： 步骤1、 准备输入数据， 输入图片数据， 所述图片数据来自随机挑选的行 人ID； 步骤2、 特 征提取， 提取输入数据的全局特 征fg和局部特征fl； 步骤3、 对所述全局特征fg和局部特征fl计算损失函数， 以交叉熵损失函数、 困难三元组 损失函数和达 到最小化 为目标去优化训练模型。 2.根据权利要求1所述的一种基于渐进性的全局 ‑局部特征行人重识别方法， 其特征在 于， 所述提取输入数据的全局特 征fg和局部特征fl， 具体步骤是： 步骤2‑1、 使用ResNet50作为全局特征的网络结构， 并用其在ImageNet数据集上预训练 的模型初始化网络 权重； 步骤2‑2、 修改全局特征分支， 移除其第四个阶段中的下采样层， 使得特征图的宽和高 增加一倍； 步骤2‑3、 全局特征分支遵循ResNet50的网络结构前向传播特征， 在 经过四个阶段之后 分别得到96 ×32×256(f1)， 48×16×512(f2)， 24×8×1024(f3)， 24×8×2048(f4)大小的 特征图， 将第四阶段 得到的特 征图经过池化层， 输出一个1024维的特 征向量fg； 步骤2‑4、 利用得到 的f2， f3， f4特征图作为局部特征分支的输入； 局部特征分支由两个 特征细化模块和一个特 征软分块操作组成； 步骤2‑5、 在局部 特征分支中， 将f3， f4送入第一个 FRM中， 将f4视为相邻高层特征， f3视为 相邻低层特 征， 对f4进行下采样操作使其具有和f3相同的尺寸； 步骤2‑6、 分别将f3， f4进行通道注意力 操作， 通过SENet中的通道注意力实现： 然后通过 一个1×1的卷积操作将特 征的通道数降为128； 接着得到乘性指导因子A和 加性指导因子B； 步骤2‑7、 利用乘性指导因子A和 加性指导因子B以及f3， f4得到第一个FRM的输出： 步骤2‑8、 将f2， 送入第二个FRM中， 将 视为相邻高层特征， f2视为相邻低层特 征， 重复第五至七步， 得到第二个FRM的输出： 步骤2‑9、 对 执行SPO， 具体为， 使用一个与 相同的高度和宽度， 通道数为1， 值 为1的模板z， 在网络的训练阶段， 随机使一块矩形区域值为0， 其中0代表丢弃当前位置特征 值， 1代表保留当前位置特征值； 全零矩形与 具有相同的宽度， 高度为 的三分之 一， 全零矩形 出现的位置随机但不能超出 的合法区域； 将 代表软分块局部特 征 图， 将其通过池化层得到局部特 征向量fl； 步骤2‑10、 得到输入图像的两种深度特 征表达， 即全局特 征表达和模态特 征表达。 3.根据权利要求1所述的一种基于渐进性的全局 ‑局部特征行人重识别方法， 其特征在 于， 所述对提取 得到的全局特 征fg和局部特征fl， 计算特征损失函数， 步骤是： 步骤3‑1、 对于行人全局特征fg计算交叉熵损失函数， 该损失函数用于判别行人身份特 征是否对输入图片的行 人身份进行正确的表达， 具体形式为：权　利　要　求　书 1/2 页 2 CN 114743216 A 2其中， n代表一个batch内的训练图片个数， xm,ym代表需要计算损失的全局特征和对应 的真值标签； 步骤3‑2、 对于行人全局特征fg计算带困难样本挖掘的三元组损失函数， 该损失函数使 行人的全局特 征以ID为划分标准更加类内聚集和类间分散， 具体形式为： 其中， 是当前batch内第m个行人的全局特征， 是与 具有相同身份的全局特征， 是与 具有不同身份的全局特 征， α 是控制正负 样本对之间的超参数； 步骤3‑3、 对于行人布局特征fl计算交叉熵损失函数， 该损失函数用于判别行人身份特 征是否对输入图片的行 人身份进行正确的表达， 具体形式为： 其中， n代表一个batch内的训练图片个数， xm,ym代表需要计算损失的局部特征和对应 的真值标签； 步骤3‑4、 对于行人局部特征fl计算带困难样本挖掘的三元组损失函数， 该损失函数使 行人的全局特 征以ID为划分标准更加类内聚集和类间分散， 具体形式为： 其中， flm是当前batch内第m个行人的全局 特征， fls是与flm具有相同身份的局部特征， flt是与flm具有不同身份的局部特 征， α 是控制正负 样本对之间的超参数； 步骤3‑5、 将全局特 征和局部特征相加， 得到网络最后的整体损失函数： 其中， λ是控制全局特 征学习和局部特征学习的平衡超参数。 4.一种基于渐进性的全局 ‑局部特征行人重识别系统， 其特 征在于， 包括： 数据输入模块， 用于准备输入数据， 输入图片数据， 所述图片数据来自随机挑选的行人 ID； 特征提取模块， 用于提取输入数据的全局特 征fg和局部特征fl； 损失函数计算模块， 对所述全局特征fg和局部特征fl计算损失函数， 以交叉熵损失函 数、 困难三元组损失函数和达 到最小化 为目标去优化训练模型。权　利　要　求　书 2/2 页 3 CN 114743216 A 3