AR红包Android端实现原理
欢迎Follow我的GitHub, 关注我的CSDN. 其余参考Android目录.技术微信公众号:程序员小乐
前不久支付宝推出了AR红包的功能,风靡一时,最近刚好完成了这样的需求,特此整理分享,以求相互学习、共同进步。有鉴于公司接下来可能的商用,就不在这里贴源码了,仅简单说一下实现思路和原理。
话不多讲,先上流程图:
藏红包
一、初始化相机
相机类android.hardware.Camera
,但是很遗憾它过时了,Google在Android5.0后推出了更强大的android.hardware.camera2
包,但是为了兼容低版本这里依然使用android.hardware.Camera
类(有兴趣的同学可以通过Android Camera2 拍照入门学习这篇了解camera2的实现方式)。
Camera.open()
开启相机;Camera.getParameters()
获取参数类并设置,缺少这一步相机的预览画面会变成横向的、模糊的。
需要设置的内容:
parameters.setPictureSize
图片分辨率,
parameters.setPreviewSize
预览图像分辨率,这两项需要根据设备支持的列表具体计算这里不再赘述parameters.setPreviewFormat
预览图像转码格式,
parameters.setJpegQuality
照片质量,这里并不需要拍照可以忽略,
parameters.setFocusMode
对焦模式,连续对焦需要加camera.cancelAutoFocus()
camera.setDisplayOrientation
预览画面方向,这里旋转90。
记得权限(Android6.0后需要动态申请。):
<uses-permission android:name="android.permission.CAMERA" />
<uses-permission android:name="android.permission.FLASHLIGHT" />
<uses-feature android:name="android.hardware.camera" />
<uses-feature android:name="android.hardware.camera.autofocus" />
<uses-feature android:name="android.hardware.camera.flash" />
二、绑定surfaceView
- 找到surfaceView后
getHolder()
获得surfaceHolder引用; holder.setType
设置类型;holder.addCallback
添加回调;Camera.setPreviewDisplay(holder)
将surfaceHolder传入Camera;Camera.startPreview()
开启预览图像。
三、获取一帧预览图像
Camera.setOneShotPreviewCallback(PreviewCallback cb)
方法可以获取一帧预览图像,数据会返回到PreviewCallback 回调中的 onPreviewFrame(byte[] data,Camera camera)
方法中,data即为帧数据。
四、预处理图像
首先明确一点,处理图像和接下来的其他耗时计算都要放到子线程中,不要问我为什么,编译器会告诉你答案。onPreviewFrame方法中的data并不能直接直接转为bitmap,需要先进行转码:
Camera.Size size = camera.getParameters().getPreviewSize();YuvImage image = new YuvImage(data, ImageFormat.NV21, size.width, size.height, null);ByteArrayOutputStream stream = new ByteArrayOutputStream();image.compressToJpeg(new Rect(0, 0, size.width, size.height), 80, stream);Bitmap bmp = BitmapFactory.decodeByteArray(stream.toByteArray(), 0, stream.size());
五、奇数帧?偶数帧?
为什么要分奇数偶数呢?当做好相机的准备工作后,要藏红包,实际上需要解决的就是排除不需要的图像,首先要做到的就是舍弃用户移动时获取的图像,最先的想法是利用加速度传感器,但是随后发现手机匀速移动的时候是没有加速度的,而这时获取的图像仍需舍弃。后来找到的解决方案是:不停获取帧图像,比较相邻两帧的相似度,当相似度达到某个阈值时视为相似,连续数次比较皆为相似可知用户所对位置即用户想要藏红包的地方,将此时获取的帧图保存即可。
- 设置一个计数器记录获取帧图的次数,计数器%2即可区分奇偶;
- 奇数帧存到图1,偶数帧存图2,比较图1图2;
- 不足两图、比较不相似就获取新的一帧,即可实现不停的比较相邻两帧图像。
六、相似?
比较相似的方法网上有挺多,有直接拿像素比较的,有处理成灰度图像比较的,有转成哈希值比较的,比较方法不同得到的数值也不同,所要设定的阈值也随之改变,具体看需求能达到目的就好。细心的同学会发现支付宝在藏红包的时候并不是所有地方都可以藏,有些没有意义、过度单调的地方是没办法藏的,这里实现的方式是计算图片像素“丰富度”(缺少图像学知识暂且这么叫吧)。得到图片所有像素点的值,去除重复,所得到的所有不同像素值的个数越小说明图片颜色越“单调”,然后根据这个个数值设置阈值进行判断。
七、确定红包位置
得到满足要求的帧图后,停止获取帧图,停止相机预览Camera.stopPreview()
,将图片直接上传服务器或者转成哈希值传给服务器,也可以同时传些位置坐标等参数,这个看具体需求,这些数据即为所藏红包的“指纹”。
找红包
找红包相对简单,相同的逻辑不在赘述,只需要:
- 获取已藏红包的位置图片,
- 与获取的预览帧图比较,
- 不相似继续取帧图,相似停止取帧,即找到红包。
可以根据需求增加位置坐标范围判断和用户身份判断。
一点思考
首先我们对比下扫描二维码和扫描AR红包的实现原理:
不难发现,整个扫描流程十分相似。其实在我看来,AR红包可以理解为是一个特殊的“二维码”,只不过这个“二维码”上不再是特殊的几何图形,而是一张图片。支付宝“扫一扫”中左边是“二维码”右边是“AR”,有力地支持了我的逻辑。那么按照这个逻辑再来看整个AR红包,可以发现“藏红包”其实就是一个生成“二维码”的过程,“找红包”自然就是扫描“二维码”了。
那么AR红包又与二维码有什么区别?
我们知道二维码是按照一定规律生成的特殊几何图形,可以进行编码解析,即二维码中是内含信息的;而AR红包实际上只是一张图片,不包含信息。这也是为什么支付宝要通过红包地图和用户的方式将AR红包区分开的原因,否则如果两个用户在同一个位置藏了红包,扫描时将无法区分它们。既然如此那为什么还要有AR红包的存在呢?
AR红包相对于二维码的优缺点
优点:
- AR红包藏匿于现实生活中。不同于二维码:“我是一个二维码,你们快来扫我呀O(∩_∩)O~~”,只要你不公开你的红包位置图,没人知道这有红包,当然你也可以让部分人看到。妈妈再也不用担心儿子的私房钱被老婆发现了!
- AR红包来源于现实生活。所以就省去了张贴“二维码”和更换“二维码”的麻烦,同时也减少了二维码给环境带来的污染。试想一下:今天《金刚》首映扫“帝国大厦”可获得电影票一张,扫“央视大裤衩”看今日新闻是不是很cooool~
- AR红包可以一地儿多用。同样一个“央视大裤衩”,央视扫是新闻联播,网易扫是网易头条,UC扫是UC震惊。
- 良好的用户体验。举个栗子:相比于扫公司logo打卡和扫公司logo上的二维码打卡,我选择前者。
缺点:
- 本身不包含信息,需要其他参数辅助。没有位置坐标和用户信息,AR红包几乎无法运行。
- 人不能俩次踏入同一条河流。你藏红包的地方可能随时间变化再也无法复现,比如碎掉的存钱罐、昨天的夕阳和年少的你。
- 算法不够完善。AR红包刚出现不久,尚没有统一的算法,每种比较的算法根据需求不同结果相差很大,识别效果和效率不够完美,无法像二维码一样瞬间识别,还有待进一步完善。
实现AR红包的过程中,让我深深的感到对图像处理知识的缺乏,这篇文章权当总结,一些浅见难免有疏忽纰漏,还往大家不吝赐教,共同进步。
参考:
Android二维码扫描开发(一):实现思路与原理
Android实现图片相似度
Android 手把手带你玩转自定义相机
Android Camera2 拍照入门学习
AR红包Android端实现原理相关推荐
- Android - 基于EasyAR SDK的AR红包的实现
原文:http://blog.csdn.net/ListerCi/article/details/72953294 一.综述 还记得支付宝在新年里推出的 AR 红包吗?你只要用手机扫一扫"福 ...
- Android端消息推送总结:实现原理、心跳保活、遇到的问题等
前言 最近研究Android推送的实现, 研究了两天一夜, 有了一点收获, 写下来既为了分享, 也为了吐槽. 需要说明的是有些东西偏底层硬件和通信行业, 我对这些一窍不通, 只能说说自己的理解. 为什 ...
- 58同城Android端-最小插件化框架实战和原理分析
目录 背景 插件化需要了解的知识 2.1 类加载过程和类加载器 2.2 ClassLoader 的 findClass.findLibrary.findResource 2.3 DexClassLoa ...
- 扫福得福背后,支付宝 AR 红包的技术创新与故事
春节期间,支付宝的「扫福得福」活动火爆异常.AR 是一种新的交互方式,与传统营销方式相比,可以使用户更深入地参与互动,给用户带来新体验.而支付宝红包,寄托着用户对未来的期盼,因此其团队就考虑将 AR ...
- 说一说关于破解支付宝AR红包的事
当朋友圈的你们才开始分享支付宝AR红包的消息的时候,我已经对它动了一二三四次歪脑筋了,虽然事实证明并不是那么顺利,至今我也只在电脑前识别出5个不知道在哪里的红包,其中一个还因为定位信息不符开不了. 昨 ...
- 扫福得福背后,支付宝AR红包的技术创新与故事
春节期间,支付宝的「扫福得福」活动火爆异常.AR是一种新的交互方式,与传统营销方式相比,可以使用户更深入地参与互动,给用户带来新体验.而支付宝红包,寄托着用户对未来的期盼,因此其团队就考虑将AR与红包 ...
- AR红包大战,抢的不是钱而是发展机会
QQ和支付宝纷纷"祭出"AR红包,一触即发的抢红包大战会给AR行业带来什么? 逢年过节,除了吃吃吃.睡睡睡.玩玩玩,现在还有一个"新习俗"--抢红包.小编犹记得 ...
- 微信小游戏直播在Android端的跨进程渲染推流实践
本文由微信开发团队工程师"virwu"分享. 1.引言 近期,微信小游戏支持了视频号一键开播,将微信升级到最新版本,打开腾讯系小游戏(如跳一跳.欢乐斗地主等),在右上角菜单就可以看 ...
- 【快速搞定】教你如何快速集成环信(android端EaseUI),跳过我踩过的坑
[快速搞定]教你如何快速集成环信(android端EaseUI),跳过我踩过的坑 一.前言 最近,公司准备集成一个即时通讯的功能,于是我找到了环信,于是我就这样被坑了,于是就有了本文来教大家如何跳出我 ...
最新文章
- 【iOS基础知识】const与宏的区别
- ideal中如何添加几个不同的项目在同一个idea页面显示(同一个窗口显示多个工程)...
- 域socket(domain socket)和ipsocket(TCP/IP socket)区别
- 区块链技术的五大颠覆性价值
- 使用python高通滤波器时报错numpy.linalg.linalg.LinAlgError: Singular matrix
- testflight进行用户的beta测试
- 性能达到原生 MySQL 七倍,华为云 Taurus 技术解读
- 绝地求生2017.7.27服务器维护,绝地求生大逃杀更新内容 7月27日更新了什么
- “去QE”时代下,QE如何破茧重生?
- Hibernate使用小札
- 软件设计师历年真题详解2009-2018
- python钻石和玻璃球游戏_python使用pygame实现笑脸乒乓球弹珠球游戏
- android实现发送短信的功能
- 浅谈移动端Vin码识别技术
- 2013全国计算机二级vfp试题,2013年计算机二级VFP上机试题及答案解析29
- YTU OJ Problem 3013
- Raphael绘制流程图箭头的方法
- 怎么攻击天猫商家 java,天猫店铺被恶意攻击,大家看看是怎么做的。
- Stata进行矩阵运算,求逆矩阵、特征根、特征向量
- 3.5寸TFT LCD彩屏