车道线检测-LSTR-论文学习笔记

论文：《End-to-end Lane Shape Prediction with Transformers》

代码：https://github.com/liuruijin17/LSTR

地址：https://arxiv.org/abs/2011.04233v2

内容：使用 CNN+Transformer，基于三次曲线拟合车道线

整体结构

模型输出的东西

gt=(k′′,f′′,m′′,n′,bt′′,bt′′′,αt,βt)g_t=(k'',f'',m'',n',b''_t,b'''_t,\alpha_t,\beta_t)gt=(k′′,f′′,m′′,n′,bt′′,bt′′′,αt,βt) 及对应的存在性

以上各量满足：
u′=k′′(v′−f′′)2+m′′v′−f′′+n′+bt′′v′−bt′′′u'=\frac{k''}{(v'-f'')^2}+\frac{m''}{v'-f''}+n'+b''_t v'-b'''_tu′=(v′−f′′)2k′′+v′−f′′m′′+n′+bt′′v′−bt′′′
其中，

(u′,v′)(u',v')(u′,v′) 为图像像素位置；

(k′′,f′′,m′′,n′)(k'',f'',m'',n')(k′′,f′′,m′′,n′) 决定了车道线的弯曲程度；

(αt,βt)(\alpha_t,\beta_t)(αt,βt) 是第 ttt 条车道线的起点；

(bt′′,bt′′′)(b''_t,b'''_t)(bt′′,bt′′′) 拟合直线部分。

补充：

n′n'n′ 与 bt′′′b'''_tbt′′′ 具有不同的物理背景，所以文中并没有将其合并。

以上公式的各参数具备明确的物理含义，其基于三次曲线，推导过程可参考文中的第 7 节。

预测的车道线与 GT 之间的匹配

使用 Hungarian 算法寻找最佳匹配

优化的损失函数：
L=Σi=1N−ω1log⁡pz^(i)(c^i)+1(c^i=1)ω2L1(s^i,sz^(i))+1(c^i=1)ω3L1(α^i,αz^(i),β^i,βz^(i))L=\Sigma^N_{i=1}-\omega_1 \log_{p_{\hat{z}(i)}}(\hat{c}_i)+\mathbf{1}(\hat{c}_i=1)\omega_2 L_1(\hat{s}_i,s_{\hat{z}(i)})+\mathbf{1}(\hat{c}_i=1)\omega_3 L_1(\hat{\alpha}_i,\alpha_{\hat{z}(i)},\hat{\beta}_i,\beta_{\hat{z}(i)}) L=Σi=1N−ω1logpz^(i)(c^i)+1(c^i=1)ω2L1(s^i,sz^(i))+1(c^i=1)ω3L1(α^i,αz^(i),β^i,βz^(i))

求的是 z^=arg⁡min⁡zL\hat{z}=\mathop{\arg\min}_z Lz^=argminzL
其中：

(ci,gi)(c_i,g_i)(ci,gi) 是预测的第 iii 条车道线；

ci∈{0,1}c_i\in \{0,1\}ci∈{0,1} 是对 预测的第 iii 条车道线 属实情况的预测；

s^=(u^r′,v^r′)r=1R\hat{s}=(\hat{u}'_{r},\hat{v}'_{r})^R_{r=1}s^=(u^r′,v^r′)r=1R 是车道线 GT（注意这里是对车道线的像素级采样，不是曲线参数 grg_rgr）；

z(i)z(i)z(i) 是指：与 GT 中第 iii 条车道线相匹配的第 zzz 条预测结果。

NNN 表示在每张图片上预测的车道线的数量，该值大于实际数量，所以在每张图片的 GT 集合中，存在并非车道线的“线”。

1(c^i=1)\mathbf{1}(\hat{c}_i=1)1(c^i=1) 是示性函数，当 GT 中第 iii 条车道线属实时，其值为 111，否则为 000。

车道线检测-LSTR-论文学习笔记相关推荐

车道线检测-Eigenlanes 论文学习笔记
论文:<Eigenlanes: Data-Driven Lane Descriptors for Structurally Diverse Lanes> 代码:https://github ...
车道线检测CondLaneNet论文和源码解读
CondLaneNet: a Top-to-down Lane Detection Framework Based on Conditional Convolution Paper:https://a ...
活体检测 LGSC 论文学习笔记
论文题目:Learning Generalized Spoof Cues for Face Anti-spoofing 论文链接:https://arxiv.org/pdf/2005.03922.pd ...
【深度学习】实战教程 | 车道线检测项目实战，霍夫变换新方法 Spatial CNN
此文按照这样的逻辑进行撰写.分享机器学习.计算机视觉的基础知识,接着我们以一个实际的项目,带领大家自己动手实践.最后,分享更多学习资料.进阶项目实战,这部分属于我CSDN上的专栏,最后会按照顺序给出相 ...
自己小组的一篇 CVPR 2023 车道线检测论文
作者 | Captain Jack 编辑 | CVer 原文链接: https://zhuanlan.zhihu.com/p/614191683 点击下方卡片,关注"自动驾驶之心" ...
实战教程 | 车道线检测项目实战，霍夫变换新方法 Spatial CNN
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达此文按照这样的逻辑进行撰写.分享机器学习.计算机视觉的基础知识,接着我们以一个实际的项目,带领大家自己 ...
车道线检测：几何约束联合车道分割和车道边界检测
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达来源 | 知乎@任乾编辑丨焉知自动驾驶本文分享了一篇关于车道线检测的论文,其主要创新点在于把车道线 ...
速度最快250fps！实时、高性能车道线检测算法LaneATT
CVPR 2021 车道线检测方向论文:Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection . 论文: http ...
车道线检测：LSTR论文解析
车道线检测:End-to-end Lane Shape Prediction with Transformers论文解析 1. Abstract 2. Introduction 3. Related ...
基于深度强化学习的车道线检测和定位（Deep reinforcement learning based lane detection and localization）论文解读+代码复现
之前读过这篇论文,导师说要复现,这里记录一下.废话不多说,再重读一下论文. 注:非一字一句翻译.个人理解,一定偏颇. 基于深度强化学习的车道检测和定位官方源码下载:https://github.co ...

车道线检测-LSTR-论文学习笔记

整体结构

模型输出的东西

预测的车道线与 GT 之间的匹配

车道线检测-LSTR-论文学习笔记相关推荐

最新文章

热门文章