简 介： 利用Apriltag提取过程中的单应矩阵（homography）可以获得单个Apriltag的角度。通过上述测试可以看到对于Apriltag的法向量基本与镜头夹角不大的情况下，测量角度比较准确。一旦当Apriltag的法向量与镜头夹角增大到一定程度，求出的法向量的夹角会出现较大的误差。

关键词： Apriltag，单应矩阵

§00 背  景

  在 旋转Apriltag角度检测 中测试Apriltag定位立方体使用的是 旋转的Apriltag码 制作贴有Apriltag的立方体。在测试过程中发现

• Apriltag张贴的时候应该是方向保持向上一致；
• 需要更加精确对于摄像头的内参和外参进行校正；

  下面工作：

• 制作更大的立方体制作Apriltag的定位立方体；
• 使用更大的棋盘格进行视野校正。

§01 定位立方体

1.1 六面体盒子

  今天（2022-01-01）收到了来自百度在 WAVE Summit 平行论坛 纪念品，其中有一个特色魔方的盒子，呈现正六边形，适合制作Apriltag定位立方体。

• 立方盒的边长为：73mm。

▲ 图1.1.1 特色魔方包装盒

1.2 打印Apriltag码

  在 APRILTAG 标准图片：TAG25H9 下载TAG25H9 ID=1图标。

▲ 图1.2.1 TAG25H9 id=1 Apriltag 图标

  根据 竞赛规则对于定位Apriltag尺寸参数 要求，Apriltag的边长应该为立方体的0.9倍。所以打印的Apriltag的边长应该为：73×0.9≈66mm73 \times 0.9 \approx 66mm73×0.9≈66mm。

  根据A4纸的边长为210mm，可以得到对应的编辑图片尺寸。

▲ 图1.2.2 编辑打印出编程为66mm的Apriltag

▲ 图1.2.3 打印之后的Apriltag码

1.3 粘贴制作定位立方体

  使用胶水棒将打印的Apriltag码粘接在立方体盒子上。旁边还有一个粘贴在圆柱体上的Apriltag码，用于测试识别问题。

▲ 图1.2.4 粘贴好的Apriltag的定位立方体

§02 摄像机校正

2.1 拍摄棋盘格

  棋盘格是 棋盘格氧化铝标定板漫反射不反光12×9方格视觉光学校正板 。手边有两种棋盘格：

GP100参数：

角点矩阵：11×8
方格边长：6mm

▲ 图2.1.1 GP100定标棋盘格

GP070参数：

角点点阵：11×8
方格边长：5mm

▲ 图2.1.3 GP070定标棋盘格

2.2 矫正程序

from headm import *                 # =
import cv2cbfile1 = '/home/aistudio/work/GP100.jpg'
cbfile2 = '/home/aistudio/work/chessb1.jpg'CORNER_NUM     = (11,8)def calcam(cbfile, gridsize=5):img = cv2.imread(cbfile)gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)ret, corners = cv2.findChessboardCorners(gray, CORNER_NUM, None)if ret:cv2.drawChessboardCorners(img, CORNER_NUM, corners, ret)plt.clf()plt.figure(figsize=(12,12))plt.axis("off")plt.imshow(img)obj_p = zeros((CORNER_NUM[0] * CORNER_NUM[1], 3), float32)obj_p[:,:2] = (mgrid[0:CORNER_NUM[0], 0:CORNER_NUM[1]].T.reshape(-1,2))*gridsizeobj_points = []obj_points.append(obj_p)img_points = []img_points.append(corners)ret,mtx,dist,rvecs,tvecs = cv2.calibrateCamera(obj_points, img_points, CORNER_NUM, None, None)return ret,mtx,dist,rvecs,tvecsret,mtx,dist,rvecs,tvecs = calcam(cbfile1,6)
printt(ret:,mtx\,dist:,rvecs\,tvecs)

2.3 摄像头

  存在两个摄像头，分别拍摄了上述两个棋盘格校正图片。因此下面在进行校正的时候，所得到的校正参数可能不同。

2.3.1 摄像头1校正

▲ 图2.3.1 GP100角点提取

ret: 0.12002146401949448mtx:
[[5.94399097e+03 0.00000000e+00 6.82760115e+00][0.00000000e+00 6.36697742e+03 9.10752915e-01][0.00000000e+00 0.00000000e+00 1.00000000e+00]]
dist: [[ -1.13942937  11.40997843   0.0427266    0.06904507 -33.65814797]]rvecs:
[array([[-0.18694408],[ 0.7794577 ],[-3.03463076]])]
[array([[ 108.09875682],[  78.08952974],[1372.04963641]])]

2.3.2 摄像头2校正

▲ 图2.3.2 GP070角点提取

ret: 0.16806419784453866mtx:
[[ 1.82831585e+04  0.00000000e+00  1.44044114e+02][ 0.00000000e+00  1.93289214e+04 -1.85425454e+01][ 0.00000000e+00  0.00000000e+00  1.00000000e+00]]
dist: [[-5.35721122e-01  4.45459910e+02  6.54421136e-04 -6.56847763e-031.52761970e+00]]rvecs:
[array([[ 0.44598183],[ 0.05775509],[-0.02442412]])]
[array([[  19.31487417],[  30.2872056 ],[2350.10439739]])]

§03 旋转Apriltag

  根据 旋转Apriltag角度检测 中的测试方式，测量Apriltag的角度。

3.1 测量Apriltag的角度

3.1.1 摄像头1测量序列

  下面是摄像头1测量得到的旋转Apriltag序列。

▲ 图3.1.1 摄像头1测量的旋转Apriltag序列

3.1.2 摄像头2测量序列

  摄像头2拍摄的Apriltag序列：

▲ 图3.1.2 摄像头2拍摄的Apriltag序列

▲ 图3.1.3 动态提取Apriltag法向量

▲ 图3.1.4 Apriltag方向提取结果

※ 总  结 ※

  利用Apriltag提取过程中的单应矩阵（homography）可以获得单个Apriltag的角度。通过上述测试可以看到对于Apriltag的法向量基本与镜头夹角不大的情况下，测量角度比较准确。一旦当Apriltag的法向量与镜头夹角增大到一定程度，求出的法向量的夹角会出现较大的误差。

■ 相关文献链接:

• 旋转Apriltag角度检测
• 旋转的Apriltag码
• WAVE SUMMIT平行论坛 ：产教融合，人才共育
• APRILTAG 标准图片：TAG25H9
• 竞赛规则对于定位Apriltag尺寸参数
• 棋盘格氧化铝标定板漫反射不反光12*9方格视觉光学校正板

● 相关图表链接:

• 图1.1.1 特色魔方包装盒
• 图1.2.1 TAG25H9 id=1 Apriltag 图标
• 图1.2.2 编辑打印出编程为66mm的Apriltag
• 图1.2.3 打印之后的Apriltag码
• 图1.2.4 粘贴好的Apriltag的定位立方体
• 图2.1.1 GP100定标棋盘格
• 图2.1.3 GP070定标棋盘格
• 图2.3.1 GP100角点提取
• 图2.3.2 GP070角点提取
• 图3.1.1 摄像头1测量的旋转Apriltag序列
• 图3.1.2 摄像头2拍摄的Apriltag序列
• 图3.1.3 动态提取Apriltag法向量
• 图3.1.4 Apriltag方向提取结果

#!/usr/local/bin/python
# -*- coding: gbk -*-
#============================================================
# TEST1.PY                     -- by Dr. ZhuoQing 2021-12-31
#
# Note:
#============================================================from headm import *                 # =
import cv2
import apriltag
from tqdm import tqdm
import zipfile
from scipy.spatial.transform import Rotation as R#------------------------------------------------------------
'''
outdir = '/home/aistudio/data'
zzipfile = '/home/aistudio/data/data123271/rap1.zip'aprdir = os.path.join(outdir, os.path.basename(zzipfile).split('.')[0])
if not os.path.isdir(aprdir):printf('Open file {}'.format(aprdir))with zipfile.ZipFile(zzipfile) as f:f.extractall(outdir)printf('Extract all.')
'''
#------------------------------------------------------------
#aprdir = '/home/aistudio/data/220101155505'
aprdir = '/home/aistudio/data/data123271/220101160051'filedim = [s for s in sorted(os.listdir(aprdir)) if s.find('JPG') > 0]
#printt(filedim:)
#------------------------------------------------------------
'''
mtx = array(
[[5.94399097e+03,0.00000000e+00,6.82760115e+00],[0.00000000e+00,6.36697742e+03,9.10752915e-01],[0.00000000e+00,0.00000000e+00,1.00000000e+00]]
)'''mtx = array(
[[1.82831585e+04,0.00000000e+00,1.44044114e+02],[0.00000000e+00,1.93289214e+04,-1.85425454e+01],[0.00000000e+00,0.00000000e+00,1.00000000e+00]]
)#------------------------------------------------------------gifpath = '/home/aistudio/GIF'
gifdim = os.listdir(gifpath)
for f in gifdim:fn = os.path.join(gifpath, f)if os.path.isfile(fn):os.remove(fn)atd = apriltag.Detector(apriltag.DetectorOptions(families='tag25h9'))for id,imgfile in tqdm(enumerate(filedim)):procfile = os.path.join(aprdir, imgfile)img = cv2.imread(procfile)gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)tags = atd.detect(gray)if len(tags) == 0: continuefor iidd,tag in enumerate(tags):homo = tag.homographynum,Rs,Ts,Ns = cv2.decomposeHomographyMat(homo, mtx)#        if tag.tag_id == 0:
#            r = R.from_dcm(Rs[0].T)
#            euler = r.as_euler('xyz').T*180/pi
#            angle = euler[2]
#        else:
#            r = R.from_dcm(Rs[0].T)
#            euler = r.as_euler('yxz').T*180/pi
#            angle = euler[0]r = R.from_dcm(Rs[0].T)euler = r.as_euler('xyz').T*180/piangle = euler[2]for c in tag.corners:cv2.circle(img, tuple(c.astype(int)), 4, (255, 0, 0), 2)cc = tag.centercv2.circle(img, tuple(cc.astype(int)), 6, (20, 200, 120), 2)ARROW_LENGTH        = 250shiftx = sin(angle*pi/180) * ARROW_LENGTHshifty = ARROW_LENGTH * cos(euler[1]*pi/180) * cos(angle*pi/180) / 2newcenter = array([shiftx, shifty]) + cccv2.circle(img, tuple(newcenter.astype(int)), 16, (0, 0, 255), 8)cv2.line(img, tuple(newcenter.astype(int)), tuple(cc.astype(int)), (0, 0, 255), 4)#    breakoutfile = os.path.join(gifpath, '%03d.JPG'%id)cv2.imwrite(outfile, img)plt.clf()
plt.figure(figsize=(12,12))
plt.axis("off")
plt.imshow(img)#------------------------------------------------------------
'''atd = apriltag.Detector(apriltag.DetectorOptions(families='tag25h9'))angledim =[[],[],[],[]]lastangle = 100000
tagnum = []for id,imgfile in tqdm(enumerate(filedim)):procfile = os.path.join(aprdir, imgfile)img = cv2.imread(procfile)gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)tags = atd.detect(gray)if len(tags) == 0: continueangle1 = 0angle2 = 0tagnum.append(len(tags)*25)for iidd,tag in enumerate(tags):homo = tag.homographynum,Rs,Ts,Ns = cv2.decomposeHomographyMat(homo, mtx)if tag.tag_id == 0:r = R.from_dcm(Rs[0].T)euler = r.as_euler('xyz').T*180/piangle = euler[2]else:r = R.from_dcm(Rs[0].T)euler = r.as_euler('yxz').T*180/piangle = euler[0]if iidd == 0: angle1 = angleelse: angle2 = angleangleA = angle1if len(tags) > 1:if abs(angle1-lastangle) < abs(angle2-lastangle):angleA = angle1else: angleA = angle2lastangle = angleAangledim[0].append(angleA)angledim[1].append(angleA)angledim[2].append(angleA)angledim[3].append(angleA)#    for i in range(4):
#        r = R.from_dcm(Rs[i].T)
#        euler = r.as_euler('xyz').T*180/pi
#        angle = euler[2]
#        angledim[i].append(angle)printt(shape(angledim):)
'''#------------------------------------------------------------
'''
plt.clf()
plt.figure(figsize=(10,6))plt.plot(angledim[0], label='L1')
plt.plot(tagnum, label='num')
#plt.plot(angledim[1][:200], label='L2')
#plt.plot(angledim[2], label='L3')
#plt.plot(angledim[3], label='L4')plt.xlabel("Step")
plt.ylabel("Angle")
plt.grid(True)
plt.legend(loc='upper right')
plt.tight_layout()
plt.show()
'''
#------------------------------------------------------------
#        END OF FILE : TEST1.PY
#============================================================

利用棋盘格重新校正摄像头，求取Apriltag取向相关推荐

1. 利用边缘灰度变化建模，来提高圆环直径求取精度

   简 介: 利用对所获得的圆环边缘亮度平均变化曲线,利用Sigmoid函数进行建模逼近,可以对原来经由HoughCircle所获得的半径进行补偿.对于利用扫描仪所获得的图片进行实际处理,可以看到它可以获 ...

2. 利用圆圈轮廓面积求取圆环半径：cv2.findContours, contourArea

   简 介: 利用圆环的面积反向计算圆的半径,可以获得更加稳定的圆的半径.对于标准模板在扫描仪上的移动,可以看到对应的测量得到的结果变化规律.下面对于造成这样变化进行初步分析. 关键词: 抑菌圈测量仪,O ...

3. 后缀数组以及利用后缀数组求取最长公共字串

   后缀树组是一个字符串的所有后缀的排序数组.后缀是指从某个位置 i 开始到整个串末尾结束的一个子串.字符串 r 的从 第 i 个字符开始的后缀表示为 Suffix(i) ,也就是Suffix(i)=r[ ...

4. c# 椭圆拟合库_利用C#版OpenCV实现圆心求取实例代码

   前言 OpenCVSharp是OpenCV的.NET wrapper,是一名日本工程师开发的,项目地址为:https://github.com/shimat/opencvsharp. 该源码是 BSD ...

5. 相机畸变校正、求出参数、具体应用

   相机畸变校正.求出参数.具体应用 一.原理 二.具体步骤 三.参数获取程序代码 四.使用程序 后续版本: 畸变矫正应用封装后,耗时6ms 参数采集第二版,添加了一些异常判断和提示 参数获取程序源码 运 ...

6. python中Scipy模块求取积分

   python中Scipy模块求取积分的方法: SciPy下实现求函数的积分的函数的基本使用,积分,高等数学里有大量的讲述,基本意思就是求曲线下面积之和. 其中rn可认为是偏差,一般可以忽略不计,wi可 ...

7. 算法学习：后缀数组 height的求取

   [前置知识] 后缀数组 [定义] [LCP]全名最长公共前缀,两个后缀之间的最长前缀,以下我们定义 lcp ( i , j ) 的意义是后缀 i 和 j 的最长前缀 [z函数] 函数z [ i ] 表 ...

8. vb初学回顾：最大公约数　最小公倍数　素数求取

   求最大公约数和最小公倍数 Private Sub Command3_Click()     Dim m1%, m%, n%, n1%, r%, b%     m1 = Val(InputBox(&qu ...

9. 由光声前向模型求取光声信号

   在相关论文中,提到一种使用光声前向模型来求取输入信号,根据公式 ,其中A为论文<Acceleration of Optoacoustic Model-Based Reconstruction U ...

最新文章

1. 实现电脑与NUC之间进行远程登录
2. input text
3. ROS学习（九）：ROS URDF-link
4. PHP 杂谈《重构-改善既有代码的设计》之二 对象之间搬移特性
5. .net core 使用RSA获取私钥证书并签名
6. 第1章 ssh命令和SSH服务详解
7. UVAoj 348 - Optimal Array Multiplication Sequence
8. Redis 有哪些数据类型？
9. java流读写_java流概述以及文件读写示例
10. Servlet异步处理性能优化的过程
11. oracle快速创建可用用户
12. oracled update_oracle中要谨慎使用update交叉更新！
13. adb shell 出现 error ：
14. WPF 动态添加控件以及样式字典的引用(Style introduction)
15. java实现签名和解签
16. cad道路里程桩号标注_CAD道路桩号自动编号插件
17. Mac用Homebrew安装libimobiledevice
18. 数学四大思想八大方法_四种思想方法，让你轻松掌握高中数学
19. LaTex技巧：用PPT画图，然后导入LaTeX
20. Latex编辑器Texstudio的注释快捷键。

热门文章

1. mongodb内存限制初探
2. MySQL/ACCESS导出一句话拿WebShell后门命令
3. 数据库报错： SQLCODE: -418, SQLSTATE: 42610, SQLERRMC: null
4. [原创]Silverlight与PostgreSQL数据库的互操作(CURD完全解析)
5. Spring Cloud构建微服务架构：服务消费（Ribbon）
6. mysqlimport命令
7. Tensorflow 变量的共享
8. poj1730Pollard分解
9. C++ ORM ODB 入门介绍（一）
10. 增量加载（Incremental Loads）