网站做的图上传后字变得很模糊,杭州哪家网站建设比较好,外贸网站演示,园林景观设计公司有丙级吗Mask R-CNN 相关知识点整体框架1.Resnet 深度残差学习1.1 目的1.2 深度学习深度增加带来的问题1.3 Resnet实现思想【添加恒等映射】2.线性插值2.1 目的2.2 线性插值原理2.3 为什么使用线性插值?3.FPN 特征金字塔3.1 FPN介绍3.2 为什么使用FPN?3.3 自下而上层【提取特征】3.4 …
Mask R-CNN 相关知识点整体框架1.Resnet 深度残差学习1.1 目的1.2 深度学习深度增加带来的问题1.3 Resnet实现思想【添加恒等映射】2.线性插值2.1 目的2.2 线性插值原理2.3 为什么使用线性插值?3.FPN 特征金字塔3.1 FPN介绍3.2 为什么使用FPN?3.3 自下而上层【提取特征】3.4 自上而下层【横向连接特征融合】4. Anchors(候选框生成)4.1 实现步骤5. RPN 区域建议网络5.1 目的5.2 实现步骤6. ROI 感兴趣区域6.1 目的6.2 实现步骤7. DetectionTargetLayer【目标检测层】7.1 目的7.2 实现步骤8. RoiAlign 水平对齐8.1 为什么使用线性插值实现【使用RoIPool带来的问题】8.2 使用ROIAlign 与RoiPool的原因8.3 ROIAlign优点9.分类与回归相关文章链接 Resnet论文Mask R-cnn论文线性插值原理
整体框架 1.Resnet 深度残差学习
1.1 目的
防止增加深度模型loss增加问题
1.2 深度学习深度增加带来的问题
梯度消失与爆炸问题退化问题随着网络深度的增加准确度会饱和然后迅速退化。
1.3 Resnet实现思想【添加恒等映射】
增加模型层数与恒等映射做对比如果增加层数效果变差就把权重设置接近于0的值。【近似于没有增加模型深度】确保较深的模型应该不会比较浅的模型产生更高的训练误差。 Convolution Block和identity Block区别 Convolution Block通道数和特征图大小变化了
2.线性插值
2.1 目的
减少像素特征不对齐问题降低预测框误差
2.2 线性插值原理
单线性插值: 根据2点确定一条直线斜率固定就可以得到插入值的位置多线性插值就是多次的但线性插值得到的
2.3 为什么使用线性插值?
对图片上采样原始图片3∗33*33∗3范围红色框中的值会得到4∗44*44∗4框中红色框的值。假设目标图片红框坐标为(i,j)(i,j)(i,j),那么在原始图片位置i∗3/4,j∗3/4i*3/4,j*3/4i∗3/4,j∗3/4已知i2,j3i2,j3i2,j3i 2 , j 3 i2,j3i2,j3i2,j3i2,j3i2,j3,所以在原始图片位置(1.5,0.75)( 1.5 , 0.75 )(1.5,0.75) 不是整数在找原始图片位置时会自动取整即需要使用线性插值来降低误差
3.FPN 特征金字塔
3.1 FPN介绍
横向连接的自顶向下结构用来提取特征和特征融合
3.2 为什么使用FPN?
在特征提取中去最后一层特征图对图片语义性较高但是对于图片的小物体零散特征不多使小物体在图片中检测的效果不好将多个阶段特征图融合在一起有了高层语义特征也有了底层轮廓特征效果会更好
3.3 自下而上层【提取特征】
使用Resnet深度残差算法主干结构提取特征返回每个阶段最后一层的数据。 不改变特征图大小的层为一个阶段每次提取特征都是每个阶段最后一层的输出
3.4 自上而下层【横向连接特征融合】
使用1*1卷积核将特征图大小统一使用线性插值进行上采样与此阶段的前一个阶段进行特征融合以此类推返回特征融合后每个阶段的值例如C5阶段的特征图上采样后与C4的特征图融合得到P4。
4. Anchors(候选框生成)
4.1 实现步骤
对提取的特征图进行区域金字塔网络将生成很多不同的候选框在图片上进行提取特征一个图片会提取出多种特征图anchors(候选框生成)以每个像素点为中心设置3个不同大小的scales每个scales有3个不同的roatis生成各种框例如:scales:(32, 64, 128),roatis([0.5, 1, 2])所以每个像素点会生成9个不同的框
5. RPN 区域建议网络
5.1 目的
提取前景与背景RPN具有平移不变性 在不同位置的同一物体都可以检测出来因为生成了很多框
5.2 实现步骤
分类对生成的候选框进行二分类判断是前景还是背景回归得到候选框偏移量【ground-truth与候选框偏移大小】将生成的候选框做前景和背景二分类 返回分类得分分类概率区域框数据
6. ROI 感兴趣区域
6.1 目的
筛选有用的候选框
6.2 实现步骤
按照前景得分排序取前n个的得分最高的候选框根据候选框偏移量微调候选框位置使候选框更接近grouth-truth框对于越界的候选框进行范围修剪IOU过滤筛选出候选框与ground-truth重叠比例大于阈值的候选框MNS(非极大值抑制)过滤候选框重叠比例大于阈值的最高得分候选框根据得分值选择前n个得分最高的前景获取正样本数据集 7. DetectionTargetLayer【目标检测层】
7.1 目的
找到正样本GT的类别,IOU最大的类别正样本与GT-box的偏移量正样本与GT-box对应的掩码mask即实例分割框负样本的偏移量与mask使用0填充
7.2 实现步骤
去除padding填充的候选框获取前n个得分最高的前景数量不够会使用padding填充凑齐n个前景去除一个框包含多个物体的去除正负样本判断基于ROI和ground-truth,通过IOU值与默认阈值0.5判断数据集正负比例为1:3
8. RoiAlign 水平对齐
8.1 为什么使用线性插值实现【使用RoIPool带来的问题】
当一个特征图大小为800时物体大小是665对特征图进行卷积假设特征图缩小了32倍800/3225,得到新的25大小特征图但是665/3220.78,所以物体的位置应该在25特征图上占20.78但是他们会舍弃小数实际是占20的大小将物体映射到原图会损失0.78*3224.96个像素点对于大物体偏差不大但是对于小物体偏差就会很大【如果出现奇数就会出现这个问题】
8.2 使用ROIAlign 与RoiPool的原因
网络进入全连接层需要保持特征图大小一致
8.3 ROIAlign优点
消除了RoIPool的苛刻量化【向下取整】将提取的特征与输入正确对齐。RoIPool没有pixel-to-pixel之间对齐关系不能预测到原图位置的像素点预测位置具有较大的误差。
9.分类与回归
将所有特征图大小统一后就可以进入全连接层进行相关分类与回归操作
