html5摄像头手势识别,HTML5 手势检测原理和实现
原标题:HTML5 手势检测原理和实现
作者:周林,github,陆金所前端程序员,专注 Hybrid APP 性能优化和新技术探索。欢迎任何形式的提问和讨论。前言
随着 Hybrid 应用的丰富,HTML5 工程师们已经不满足于把桌面端体验简单移植到移动端,他们觊觎移动原生应用人性化的操作体验,特别是原生应用与生俱来的丰富的手势系统。HTML5 没有提供开箱即用的手势系统,但是提供了更底层一些的对 touch 事件的监听。基于此,我们可以做出自己的手势库。
手势
常用的 HTML5 手势可以分为两类,单点手势和两点手势。单点手势有 tap(单击),double tap(双击),long tap(长按),swipe(挥),move(移动)。两点手势有 pinch(缩放),rotate(旋转)。
接下来我们实现一个检测这些手势的 js 库,并利用这个手势库做出炫酷的交互效果。
移动
关于移动手势检测我们在中做过详细介绍,这里不再赘述。总结一下就是在每次touchmove事件发生时,把两个位移点之间的坐标位置相减,就可以了。
单击(tap)
手势检测的关键是用 touchstart,touchmove,touchend 三个事件对手势进行分解。那么怎么分解单击事件呢?
在 touchstart 发生时进入单击检测,只有一个接触点。因为单击事件限制为一个手指的动作。
没有发生 touchmove 事件或者 touchmove 在一个很小的范围(如下图)。限制 touchmove 在一个很小范围,是为了给用户一定的冗余空间,因为不能保证用户手指在接触屏幕的时候不发生轻微的位移。
3 touchend 发生在 touchstart后的很短时间内(如下图)。这个时间段的阈值是毫秒级,用来限制手指和屏幕接触的时间。因为单击事件从开始到结束是很快的。
有了上面的流程,就可以开始实现 tap 事件监测了。
_getTime() {
returnnewDate().getTime(); } _onTouchStart(e) {
//记录touch开始的位置this.startX = e.touches[0].pageX;
this.startY = e.touches[0].pageY;
if(e.touches.length > 1) {
//多点监测... }else{
//记录touch开始的时间this.startTime = this._getTime(); } } _onTouchMove(e) { ... //记录手指移动的位置this.moveX = e.touches[0].pageX;
this.moveY = e.touches[0].pageY; ... } _onTouchEnd(e) {
lettimestamp = this._getTime();
if( this.moveX !== null&&
Math.abs(this.moveX - this.startX) > 10||
this.moveY !== null&& Math.abs(this.moveY - this.startY) > 10) { ... }else{
//手指移动的位移要小于10像素并且手指和屏幕的接触时间要短语500毫秒if(timestamp - this.startTime < 500) {
this._emitEvent('onTap') } } }双击(double tap)
和单击一样,双击事件也需要我们对手势进行量化分解。
1. 双击事件是一个手指的行为。所以在 touchstart 时,我们要判断此时屏幕有几个接触点。
2. 双击事件中包含两次独立的单击行为。理想情况下,这两次点击应该落在屏幕上的同一个点上。为了给用户一定的冗余空间,将两次点击的坐标点距离限制在10个像素以内。
3 双击事件本质是两次快速的单击。也即是说,两次点击的间隔时间很短。通过一定的测试量化后,我们把两次单击的时间间隔设为300毫秒。
* 注意双击事件中我们检测了相邻两个 touchstart 事件的位移和时间间隔 *
_onTouchStart(e) {
if(e.touches.length > 1) { ... } else{
if(this.previousTouchPoint) {
//两次相邻的touchstart之间距离要小于10,同时时间间隔小于300msif( Math.abs(this.startX -this.previousTouchPoint.startX) < 10&&
Math.abs(this.startY - this.previousTouchPoint.startY) < 10&&
Math.abs(this.startTime - this.previousTouchTime) < 300) {
this._emitEvent('onDoubleTap'); } }
//保存上一次touchstart的时间和位置信息this.previousTouchTime = this.startTime;
this.previousTouchPoint = { startX : this.startX, startY : this.startY }; } }长按(long press)
长按应该是最容易分解的手势。我们可以这样分解:在 touchstart 发生后的很长一段时间内,如果没有发生 touchmove 或者 touchend 事件,那么就触发长按手势。
长按是一个手指的行为,需要检测屏幕上是否只有一个接触点。
如果手指在空间上发生了移动,那么长按事件取消。
如果手指在屏幕上停留的时间超过800ms,那么触发长按手势。
如果手指在屏幕上停留的时间小于800ms,也即 touchend 在 touchstart 发生后的800ms内触发,那么长按事件取消。
_onTouchStart(e) { clearTimeout(this.longPressTimeout);
if(e.touches.length > 1) { } else{
this.longPressTimeout = setTimeout(()=>{
this._emitEvent('onLongPress'); }); } } _onTouchMove(e) { ... clearTimeout(this.longPressTimeout); ... } _onTouchEnd(e) { ... clearTimeout(this.longPressTimeout); ... }缩放(pinch)
缩放是一个非常有趣的手势,还记得第一代iPhone双指缩放图片给你带来的震撼吗?虽然如此,缩放手势的检测却相对简单。
缩放是两个手指的行为,需要检测屏幕上是否有两个接触点。
缩放比例的量化,是通过两次缩放行为之间的距离的比值得到,如下图。
* 所以缩放的核心是获取两个接触点之间的直线距离。*
//勾股定理_getDistance(xLen,yLen) {
returnMath.sqrt(xLen * xLen + yLen * yLen); }
这里的xLen是两个接触点x坐标差的绝对值,yLen相应的就是y坐标差的绝对值。
_onTouchStart(e) {
if(e.touches.length > 1) {
letpoint1 = e.touches[0];
letpoint2 = e.touches[1];
letxLen = Math.abs(point2.pageX - point1.pageX);
letyLen = Math.abs(point2.pageY - point1.pageY);
this.touchDistance = this._getDistance(xLen, yLen); } else{ ... } }
在_onTouchStart函数中获取并且保存 touchstart 发生时两个接触点之间的距离。
_onTouchMove(e) {
if(e.touches.length > 1) {
letxLen = Math.abs(e.touches[0].pageX - e.touches[1].pageX);
letyLen = Math.abs(e.touches[1].pageY - e.touches[1].pageY);
lettouchDistance = this._getDistance(xLen,yLen);
if(this.touchDistance) {
letpinchScale = touchDistance / this.touchDistance;
this._emitEvent('onPinch',{scale:pinchScale - this.previousPinchScale});
this.previousPinchScale = pinchScale; } }else{ ... } }旋转(rotate)
旋转手势需要检测两个比较重要的值,一是旋转的角度,二是旋转的方向(顺时针或逆时针)。
其中旋转角度和方向的计算需要通过向量的计算来获取,本文不再展开,感兴趣的同学可以查看。
首先,需要获取向量的旋转方向和角度
//这两个方法属于向量计算,具体原理请阅读本文最后的参考文献
_getRotateDirection(vector1,vector2) {
returnvector1.x * vector2.y - vector2.x * vector1.y; } _getRotateAngle(vector1,vector2) {
letdirection = this._getRotateDirection(vector1,vector2); direction = direction > 0? -1: 1;
letlen1 = this._getDistance(vector1.x,vector1.y);
letlen2 = this._getDistance(vector2.x,vector2.y);
letmr = len1 * len2;
if(mr === 0) return0;
letdot = vector1.x * vector2.x + vector1.y * vector2.y;
letr = dot / mr;
if(r > 1) r = 1;
if(r < -1) r = -1;
returnMath.acos(r) * direction * 180/ Math.PI; }
然后,我们在手指发生移动时,调用获取旋转方向和角度的方法。
_onTouchStart(e) { ... if(e.touches.length > 1) {
this.touchVector = { x: point2.pageX - this.startX, y: point2.pageY - this.startY }; } ... } _onTouchMove(e) { ...
if(this.touchVector) {
letvector = { x: e.touches[1].pageX - e.touches[0].pageX, y: e.touches[1].pageY - e.touches[0].pageY };
letangle = this._getRotateAngle(vector,this.touchVector); this._emitEvent('onRotate',{ angle });
this.touchVector.x = vector.x;
this.touchVector.y = vector.y; } ... }实战
好了,我们的手势系统到这里就完成了。接下来要在实战中检验这套系统是否可靠,做一个简单的图片浏览器,支持图片缩放,旋转,移动,长按。
首先,做好dom规划,和[之前]一样,我们的事件监听机制并不直接作用在图片上,而是作用在图片的父组件上。
然后,可以开始使用上面的手势检测系统了。
render() {
return(
onPinch={this.onPinch} onMove={this.onMove} onRotate={this.onRotate} onDoubleTap={this.onDoubleTap} onLongPress={this.onLongPress}>
); }
由于我们的手势系统检测的增量,因此不能直接把增量应用在对象上,而是需要把这些增量累加。以旋转为例:
onRotate(event) {
//对增量进行累加this.angle += event.angle
this.setState({ angle:this.angle }); }
至此,我们的手势检测就完成了:
参考
责任编辑:
html5摄像头手势识别,HTML5 手势检测原理和实现相关推荐
- [html] 说说html5手势检测原理是什么?
[html] 说说html5手势检测原理是什么? 手势检测的关键是用 touchstart,touchmove,touchend 三个事件对手势进行分解 个人简介 我是歌谣,欢迎和大家一起交流前后端知 ...
- HTML5 手势检测原理和实现
声明:本文经作者陆金所前端程序员周林授权转载,如需转载请联系作者. 作者:周林,陆金所前端程序员,专注 Hybrid APP 性能优化和新技术探索.深入了解请关注:Github. 责编:陈秋歌,CSD ...
- html5摄像头手势识别,基于OpenCV的摄像头动态手势轨迹识别及其应用
[实例简介] 基于OpenCV的摄像头动态手势轨迹识别及其应用,前沿的研究,最新论文 2012 B_0% random t Xo X,XX 4_1.42.B0 Bhattacharyya glsl. ...
- tof摄像头手势识别_手势控制背后的三种感应技术玄机
触摸控制方式正在逐渐取代汽车中控屏上的物理按键.但是,我们也都知道,触控并非是唯一被选择的交互方式.语音.手势甚至包括眼球.意念控制都曾出现在各式各样的概念车上.今儿的主角就是手势控制技术. 比如说今 ...
- google html5 摄像头,chrome html5如何调用摄像头?
如果是通过chrome调用摄像头的话: navigator.mediaDevices.enumerateDevices() .then(gotDevices) .catch(errorCallback ...
- 基于HTML5实现的超酷摄像头(HTML5 webcam)拍照功能 - photobooth.js
在线演示 下载 WebRTC可能是明年最受关注的HTML5标准了,Mozilla为此开发了一套帮助你控制硬件的API,例如,摄像头,麦克风,或者是加速表.你可以不依赖其它的插件来调用你需要的本机硬件 ...
- 毕业设计 - 题目:基于机器视觉opencv的手势检测 手势识别 算法 - 深度学习 卷积神经网络 opencv python
文章目录 1 简介 2 传统机器视觉的手势检测 2.1 轮廓检测法 2.2 算法结果 2.3 整体代码实现 2.3.1 算法流程 3 深度学习方法做手势识别 3.1 经典的卷积神经网络 3.2 YOL ...
- 毕业设计之 --- 基于机器视觉的手势检测和识别算法
文章目录 0 前言 1 实现效果 2 技术原理 2.1 手部检测 2.1.1 基于肤色空间的手势检测方法 2.1.2 基于运动的手势检测方法 2.1.3 基于边缘的手势检测方法 2.1.4 基于模板的 ...
- html5 svg特性,HTML5新特性——HTML 5 Canvas vs. SVG
Canvas 和 SVG 都允许您在浏览器中创建图形,但是它们在根本上是不同的. SVG SVG 是一种使用 XML 描述 2D 图形的语言. SVG 基于 XML,这意味着 SVG DOM 中的每个 ...
最新文章
- 我们真的需要那么多功能吗? - 国外主流开源 CMS 功能评点
- wxWidgets:wxComboCtrl 示例
- python编写加密程序_python编写的维吉尼亚密码加解密程序
- apk提取加密素材_从apk包中提取unity资源
- 除了写代码,程序员还能做哪些副业呢?
- mysql 1054 42s22_MySQL 触发器的坑:ERROR 1054 (42S22): Unknown column 'xxx' in 'field list'
- 苹果被曝寻求收购Drive.ai:吴恩达参与运营,多家中国VC投资
- html怎么设置波浪线,前端基础学习-css实现波浪线及立方体
- 人工智能 - 语音识别的技术原理是什么
- 决策树概述+模块介绍+重要参数(criterion+random_statesplitter+减枝参数+目标权重参数)+回归树(参数+实例+拟合正弦曲线)+泰坦尼克号生存者预测实例
- java 8 stream 的学习
- ESXI安装OpenWRT LEDE软路由部署指南(附镜像下载)
- Android中导航栏之溢出菜单OverflowMenu
- 如何使用JavaScript,纯前端实现字符、字数统计?
- [日常] 面试知识点总结(持续更新)
- 手撕设计模式,如何理解依赖倒置原则和好莱坞原则
- “yield”关键字有什么作用?
- c语言去除字符串的空格,C语言实现去除字符串中空格
- GRR(测量系统的重复性和复现性)
- 海思NB芯片在物联网中的应用