(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210322894.0 (22)申请日 2022.03.29 (71)申请人 北京云杉信息技 术有限公司 地址 100029 北京市朝阳区安贞西里五区 一号3层303 (72)发明人 余英伟　王则杰　 (74)专利代理 机构 北京航信高科知识产权代理 事务所(普通 合伙) 11526 专利代理师 刘传准 (51)Int.Cl. G06V 10/25(2022.01) G06V 30/146(2022.01) G06V 10/774(2022.01) G06V 30/19(2022.01) G06K 9/62(2022.01)G06V 10/28(2022.01) G06V 30/162(2022.01) G06V 10/44(2022.01) G06V 30/18(2022.01) G06V 10/26(2022.01) G06V 30/148(2022.01) G06V 10/24(2022.01) (54)发明名称 一种应用于招牌照识别的数据增强方法 (57)摘要 本申请提供了一种应用于招牌照识别的数 据增强方法， 所述方法包括： 步骤S1、 对用户上传 的图像进行招牌图像识别， 过滤掉非招牌图像； 步骤S2、 构建由招牌照和随机掩码组成的训练样 本进行U‑net网络模型训练， 获得修复模型； 步骤 S3、 采用图像二值化法来识别招牌图像中的光 斑， 并对光斑进行修复； 步骤S4、 识别招牌图像P 中的招牌区域P1以及所述招牌区域P1中的文字 区域； 步骤S5、 确定有效文字区域； 步骤S6、 分割 招牌区域P1中的文字前景样式， 从字典 中取出随 机字体的文字 形成图像Font， 将所述图像 Font替 换有效文字区域内的文字； 步骤S7、 与招牌区域 P1进行融合， 并替换将招牌图像中的原始招牌区 域。 本申请解决了模型训练中的样 本量不足等问 题。 权利要求书2页 说明书5页 附图1页 CN 114693917 A 2022.07.01 CN 114693917 A 1.一种应用于招牌照识别的数据增强方法， 其特 征在于， 包括： 步骤S1、 对用户上传的图像进行招牌图像识别， 过滤掉非招牌图像， 对含有招牌的图像 数据记录下招牌所在的区域 坐标A； 步骤S2、 构建由招牌照和随机掩码组成的训练样本进行U ‑net网络模型训练， 获得修复 模型； 步骤S3、 采用图像二值化法来识别招牌图像中的光斑， 计算二值化后招牌图像中的白 色区域连通分量在招牌内区域的面积， 当该面积大于900时， 将该区域记录为掩码， 从而对 所述光斑采用步骤S2的修复模型进行修复； 步骤S4、 识别招牌图像P中的招牌区域P1以及所述招牌区域P1中的文字区域； 步骤S5、 确定有效文字区域； 步骤S6、 分割招牌区域P1中的文字前景样式， 从字典中取出随机字体的文字形成图像 Font， 将所述图像Font替换有效文字区域内的文字， 形成图像Fake， 所述前景样式包括字 体、 颜色及几何变形； 步骤S7、 将所述图像Fake与所述招牌区域P1进行融合， 形成图像Fake_P1， 将招牌图像P 中的原始招牌区域P1替换为Fake_P1。 2.如权利要求1所述的应用于招牌照识别的数据增强方法， 其特征在于， 步骤S1进一步 包括： 按照7:2:1的数据比例划分将已标注的数据集分为训练集、 测试集和验证集； 经过训练得到针对招牌照的目标检测器； 使用目标检测器对数据进行目标检测， 过 滤掉非招牌图像数据。 3.如权利要求1所述的应用于招牌照识别的数据增强方法， 其特征在于， 步骤S2中， 随 机掩码的面积设置为 不超过招牌图像面积的3 0％。 4.如权利要求1所述的应用于招牌照识别的数据增强方法， 其特征在于， 步骤S2中， 所 述U‑net网络模型包括编码模块和解码模块， 所述编码模块用于对图像各个层次的特征进 行提取， 所述解码模块用于对各个层次的图像特征进 行整合， 所述编码模块包括3*3的卷积 核和2*2的最大池化组成， 使用ReLU函数作为激活函数， 在不断地编码中得到图像在低分辨 下的高维度特 征图， 所述 解码模块使用3 *3的卷积核和2*2的上采样层作进行运 算。 5.如权利要求4所述的应用于招牌照识别的数据增 强方法， 其特征在于， 所述U ‑net网 络模型的损失函数为MSE损失函数与感知指标之和。 6.如权利要求1所述的应用于招牌照识别的数据增强方法， 其特征在于， 步骤S3中， 采 用图像二值化法来识别招牌照中的光斑之前， 进一步包括将所述招牌图像转化为灰度图 像， 以及采用高斯滤波器去除图像中的噪声。 7.如权利要求1所述的应用于招牌照识别的数据增强方法， 其特征在于， 步骤S3中， 采 用图像二 值化法来识别招牌照中的光斑包括： 使用全局阈值法来二值化 图像， 对于阈值高于240的位置识别为光斑， 将阈值大于240 的位置设置为白色， 其 余设置为 黑色。 8.如权利要求1所述的应用于招牌照识别的数据增强方法， 其特征在于， 步骤S5中， 确 定有效文字区域包括： 对所述文字区域进行四边形判断， 如果所述文字区域不是四边形区域， 则判定为无效权　利　要　求　书 1/2 页 2 CN 114693917 A 2区域； 对区域为 四边形的文字区域进行倾斜检测， 对四边形的文字区域的四个顶点按纵坐标 排序， 如果 纵坐标相等则按照横坐标进 行二次排序； 排序后， 分别计算前两个点的倾角和 后 两个点的倾角， 如果两个倾角有一个大于15 °， 或者两个倾角的差大于15 °， 则判定该区域为 倾斜区域； 对文字区域高度小于招牌区域P1的招牌高度的十分之一， 则视为 不重要区域； 过滤掉所述无效区域、 倾 斜区域和不重要区域， 其它文字区域确定为有效文字区域。 9.如权利要求1所述的应用于招牌照识别的数据增强方法， 其特征在于， 步骤S6中， 分 割招牌区域P1中的文字前 景样式包括： 使用全卷积神经网络识别出招牌区域P1中的文字前景样式， 输出招牌图像每个字的分 割区域， 分割出 的区域与步骤S5中的有效文字区域进行交集运算， 从而判断分割的文字是 否在步骤S5得到的有效文字区域中。 10.如权利要求1所述的应用于招牌照识别的数据增强方法， 其特征在于， 步骤S7中， 将 所述图像Fake与所述招牌区域P1进行融合时包括： 在像素区间[10,30]内随机减小Fake图 像的尺寸， 并用空白填充。权　利　要　求　书 2/2 页 3 CN 114693917 A 3