说明：
Bill Buxton ： 是人机交互研究领域的开创者之一，目前是微软的Principle Researcher，主导surface的开发，在多点触摸系统研究方面算是大师级的专家，有幸在2008年的ISSCC上听过一次他本人的演讲，思路 清晰，很有激情的一个老头儿。这篇是他在07年初开始写的关于介绍多点触摸系统的文章，此后一直更新，最近的版本更新到2009年2月，介绍了多点触摸系 统发展的历史，提出了设计时需要注意的问题和发展方向以及指出了一些概念上的误区，读一读还是很受启发。自己胡乱翻译，分两次发上来吧。

序言

自从iPhone发布以来，很多人询问我关于多点触摸的技术。理由可能是因为他们知道我在这方面的研究已经持续了很多年。但是问题是，我不能花时间解答每一个问题。所以我开始做这个我认为是最好的事情，就是在这个文档中总结我所想提供的答案。

多点触摸技术已经有很长的历史了。准确的说，最早我的小组开始进行这方面的工作是在1984年，与第一台苹果计算机的推出在同一年，而且我们并不是第一个吃螃蟹的人。此外，苹果在进行iPhone研发的时候，就很清楚多点触摸技术的历史至少可以追溯到1982年，而pinch的手势在1983年就已经开始使用了。这些都被清楚地记录在Wahyne Westerman当年的博士论文中，他曾经是FingerWorks公司的联合创始人，苹果在2005年收购了这家公司，他现在是一名苹果员工。

Westerman, Wayne (1999). Hand Tracking,Finger Identification, and Chordic Manipulation on a Multi-Touch Surface. U of Delaware PhD Dissertation
http://www.ee.udel.edu/~westerma/main.pdf

我之所以说明他们知道这一段历史，并不是想批评Westerman,iPhone或者苹果。只是作为一个很好的习惯和学识，在推出一个新产品的时候需要做做家庭作业，了解一下相关的背景资料。我想指出的是,多点触摸这种所谓的新技术，并不是突然凭空产生的，尽管市场营销喜欢宣扬那种“伟大的发明”的故事，但是真正的创新却很少是这样一种方式。

所以，为了分享这一特殊技术的背后故事，我简单总结了一些我所参与、知道和接触了很多年的一些具有代表性的实例。如我所说，这些工作是未完成的而且至今仍在补充中。

如果想了解输入技术的背景，请参阅我的未完成的书稿中关于输入工具的原理和技术
http://www.billbuxton.com/inputManuscript.html
如果想了解输入设备，包括触摸屏和触摸板，请看我的个人字典
http://www.billbuxton.com/InputSources.html

一些条条框框

关于触摸技术，人们有很多疑惑，尽管它已有25年的历史，但是关于多点触摸人们却只有很少的信息和经验。

1. 请记住，当Engelbart and English在1965年发明了鼠标以后，过了30年，直到WIN95的问世，鼠标才变得家喻户晓。尽管鼠标在1982年就已初次商用于Xerox Star和PERQ工作站，而我在1972年就在加拿大的National Research Council第一次使用了鼠标，但是这些都显得无足轻重，这个技术过了30年时间才达到顶峰，所以按照这样计算，多点触摸再有5年就要过时了。

2. 请记住一句我的格言：所有事物都对某些东西来说是最适合的，而对其它东西来说就是最不适合的。关键是知道是什么东西，为了什么东西，什么时候，为了谁，什么地方以及最重要的为什么。那些试图寻找鼠标替代品的人最终都失败了，因为鼠标对某些东西来说很伟大，但也不是对所有东西。创造新的输入设备的挑战在于找到最适合和它一块儿使用的东西。

3. 为了提高产品性能，我们在显示技术方面需要多付出大概两个数量级的成本、时间和努力才能获得和在输入方式方面等量的性能提升，因为人类是视觉主导的动物，而且显示技术已经相当成熟，而输入方式还处于初级有待开发的阶段。

一些框架

因为我没有时间写一篇详细的论文，教程或者历史阐述。我只能告诉你一些可能会误导你思考和讨论的陷阱，我会提出一些我认为重要和相关的区别，主要通过对比的方式来论述。

• 触摸平板和触摸屏（touch-tablets vs touch screen)

在某些方面，这是两个不同的系统。比如放在你桌子上的一张印有图案的纸，你认为它是不是显示设备（尽管是静止）?如果在触摸板上的“显示”是指基于触觉上而不是基于视觉上的呢？虽然能感应触摸的显示表面和触摸平板之间有相似之处，但是它们之间还是有着直观的差别。如果是所触即所见，我们就称之为触摸屏或触摸显示。而如果你触摸的表面并不是附着在屏幕上，那我们称它为触摸平板或触摸板(touch pad)。

• 分立性和连续性 (Discrete vs Continuous)

多点触摸的的交互特性很大程度上依赖于触摸行为的分立性和连续性。许多传统的触摸屏界面都基于分立操作，比如应用虚拟键盘的多点触摸屏界面,当一个手指按住shift键而另一个手指按字母键来输入相应的大写字母。一个连续操作的例子是当两个手指按住长方形的两个对角向两边拉伸来进行调整。而在一个分立/连续联合操作中，一个手指模拟鼠标，连续移动到想要的位置，另一个手指则模拟鼠标按键敲击。

• 自由度 (Degrees of Freedom)

交互的丰富性与自由度的多少非常相关，又特别依赖于技术所支持的连续自由度。传统的GUI是基于移动一个二维的指针或鼠标，因此自由度是2。如果要感应两个手指的位置，则自由度是4，以此类推。如果使用得当，触摸技术可能实现我们在现实世界中输入方式的丰富性。

• 尺寸很重要 (Size matters)

触摸表面的尺寸很大程度上决定了能使用的触摸对象，有多少手指或手可以在表面活动以及何种类型的手势适合该设备。

• 方向很重要-水平还是垂直(Orientation Matters - Horizontal vs Vertical)

传统的大尺寸接触表面通常只能感应一个接触点。所以如果你手的其他部分也放在接触表面上，和实际接触所用的手指一起就会给识别造成困难。而这个问题在竖直放置的接触表面上通常不会遇到，所以采用单点触摸技术的大型电子白板使用的时候不会有问题。

• 触摸感知要重于接触和位置（There is more to touch-sensing than contact and position）

很久以来，大多数触感设备只能识别表面是否被接触以及接触的位置，这对单点和多点触摸设备都是如此。但是触摸的其他特性正在某些系统中被逐渐发掘，并有可能丰富用户的体验。

1. 接触的维度/压力感应： 一个可以独立以及连续地感应每个点的接触维度的触感设备，很可能具有很丰富的交互性。注意我这里使用”接触的维度“而不是压力，因为通常压力所传递的是一种副效应-当你按得用力时，你的指印接触面积就会在接触点增大，而实际所感应的是接触面积而非压力。维度和压力都比单纯地感应是否有接触信息要丰富一些，但是二者之间仍有细微的差别。

2. 角度： 有些系统已经可以感应手指与屏幕表面所成的角度。比如McAvinney's Sensor Frame。这使得手指在某种程度上可以实现游戏棒的功能。这也可以让手指转化为一个基于接触点的矢量而投影到3D空间，这可以被应用到游戏或其他3D应用中。

3.力量矢量： 与鼠标不同，用户一旦接触到屏幕，就会调整手指与屏幕之间的摩擦力以施加不同的力量矢量。例如，当不移动手指的时候，用户可以施加一个与屏幕表面平行的力，或在旋转的方向施力。这些技术早在1978年就已经有所描述[Herot, C. & Weinzapfel, G.(1978). One-Point Touch Input of Vector Information from Computer Displays, Computer Graphics, 12(3), 210-216.]。 并且5年以后在[Minsky, M. (1984). Manipulating Simulated Objects with Real-World Gestures Using a Force and Position Sensitive Screen, Computer Graphics, 18(3), 195-203.]中又再次被提到.

这些过去的例子提醒我们很重要的一点，那就是应该把人的能力而不是技术放在首要考虑的位置。尽管以合理的成本实现这些能力可能很具挑战，但是值得再次提醒的是这个道理也同样适用于多点触摸。另外，多点触摸也是和其他的触摸创新同时期的产物。

• 尺寸很重要II(Size mattersII)

和触摸表面尺寸同样重要的是所能感应的接触物尺寸，以Synaptics为例，它的触感器件可以区分感应手指（小面积）和脸颊（大面积），所以你可以通过将手机贴近脸颊来实现接电话的功能。

• 单手指和多手指(Singer-finger vs multi-finter)

尽管多点触摸至少诞生于1982年，至今大量的触摸表面还是单点触摸。如果你只操作一个点，不论使用鼠标，触摸屏，操作杆，轨迹球，你都只能受限制于类似果蝇的轨迹语言。我们应该好好利用我们与生具有的多种肢体带来的便利。

• 多点和多点触摸(Multi-point vs multi-touch)

实在是应该好好想想我们使用的各种手势和交互技能是否是一种很独特不同的技术。很多我所见到的所谓“多点触摸”充其量只是“多点”。可以这样想：你不会认为你在笔记本上使用的触摸板是一种和鼠标不同的技术，双击，拖放等等都是相同的交互技术，而不会因为是使用触摸板，轨迹球，鼠标，操作杆或触摸屏而显得不同。

• 多手和多手指(Multi-hand vs multi-finger)

很多情况下，操作可能不仅仅来自于不同的手指或不同的设备，而有可能不同的手对同一个或不同的设备进行操作。这取决于输入设备的规模。可以这样类比，在传统的GUI中，我可以用我的鼠标指向一个图标，点击，拖动，然后释放按键把它放下。或者我可以用鼠标指向，而用踏板开关来点击，这是相同的拖放技术，尽管这个操作分别来自不同的肢体和设备。

• 多人和多点触摸(Multi-person vs multi-touch)

当两个点被同时感应，它们是来自一个人的两个手指还是各来自两个不同的人的一个手指是有很大区别的。对大多数多点触摸技术来说，你并不希望出现两个指针，但是当两个人工作在同一个接触表面时，这可能正是你所希望得到的结果。因此如果多点触摸技术能感知哪个接触来自具体哪个人就会很有价值，比如MERL所作的 Diamond TOuch system

• 触点和手势(Points vs Gesture)

很多早期的相关工作，比如Krueger所做的就是感应手的姿势和位置，这已远超出了简单感知触点的能力。

• 触笔和/或手指(Stylus and/or finger)

有人认为一个人必须在触笔和手指之间做出选择。确实在有些情况下，应用于触笔的系统并不适用于手指，但是很多系统是可同时使用触笔或手指的。这并不是非得二选一的问题（尽管有时候可能是一个正确的决定，这取决于背景和设计）。两者都有优点和缺点。但是记住这一点：如果手指是最好的输入方式，为什么 Picasso和Rembrandt不用手指作画？而另一方面，如果你想试试水的温度，手指显然是比铅笔要好的工具。

• 手/手指和物体(Hands and fingers vs Objects)

触笔仅仅是在多点交互中可以使用的物体之一。很多多点/多点触摸的系统不仅能够感知在它上面的不同物体，还能感知是什么物体以及它的位置和方向。参见Andy Wilson的工作。而且，其他接触物或者触笔有可能会和手指同时使用。

• 不同和相同(Different vs The Same)

什么时候事物显得相似或是不同，答案取决于你的身份是用户，编程者，科学家还是律师。我可以列出可达成共识的两点：

1.与输入设备无关的图像： 不论用什么输入设备实现的技术仍是相同的技术，例如你用触笔，触摸屏，鼠标，操纵杆，触摸板或轨迹球实现的双击，拖放仍被视为是“相同”的技术。

2. 从用户角度看，输入设备的选择是有偏好的。虽然用户认为触摸屏和鼠标一样只是实现了相同的目的，但是不同的输入设备有它自己的优缺点，它们的性能（速度，准确度，舒适性，喜好）都是不同的，因此在不同的输入设备上得到的交互体验各不相同，尽管是它们都采用了同样的技术。用户和开发者为了控制一种特别的技术而从一种设备转向另一种设备是正常的。

如我上面所说，所有事物都对某些东西来说是最适合的，而对其它东西来说就是最不适合的。人群的多样性，交流的方式方法的多样性，以及交流的信息属性多样性都会促进技术的发展以适应不同任务的特质。

但是潜在的问题是，这会把我们带入设备的海洋之中，每个设备都具有不同的目的和交互方式。这很可能会导致失控，使我们被泛滥的小装置所包围。这些小装置本身简单而有效，但是太多的装置可能无助于简化这个复杂的世界。但是，历史告诉我们，好的工具会在此过程中产生。想想你厨房里的各种刀具或者你工具房里的各种改锥，虽然它们种类很多，但是它们都有合适的用途，这引向了另一个老话题：所谓“多的即是少的”，或者说科技的多样性反而会降低复杂度，不过这并不是一定对的。

而触摸屏所基于的所谓“软机器”正相反，“少的即是多的”。少的但是更普遍适用的技术也会导致复杂度的降低。我们当然希望多点触摸系统能够仅靠单一设备而转化为适用特种任务的任何交互界面。但是功能照顾的太全往往不能把每一个功能做精做好。

一种触摸屏驱动的思路是：不用设计一个布满不同按钮和连线的输入设备，“软机器”仅仅构画出一幅设备的图像让用户通过它来进行交互。理想情况下，这与单一设备相比具有极大的灵活性。想象当你操作物理设备的时候，你可以同时触控多个按键或虚拟设备，这会是一个很好的用户输入界面。

同样的，多点触控扩展了我们在交互中使用的手势。我们可以做除了简单的指向，按键和拖动-这些在过去主导了我们与电脑的交互方式以外的操作。这就好像我们不再用一根筷子吃中国食物、用一根手指去捏别人，或是用一只手拥抱别人。多点触摸是实现这些的一种方式，但绝不是仅有的一种或最好的一种。

没有免费的午餐

感觉  触摸屏和多点触摸屏的适应性也要付出一些代价。除了可能增加单一设备的复杂度，当你对着一幅设备的虚拟图像操作时你仍会觉得不适应，尽管它们模拟的是同样的功能，但是你的感觉仍会不同。使用过虚拟键盘的人应该会了解这种感受。

用户界面的两个因素是外观和感觉，而多数的基于触摸屏的系统都着重于外观，这有些具有讽刺意味，因为他们被称作“触摸”屏。

如果你是盲人你仅仅是很不幸，我们在某些时候都会是盲人- 比如当灯被熄灭的时候，或者仅仅我们的目光停留在别处。触摸屏界面几乎都需要看，而不能仅靠触摸，因此当你看不见的时候，你不能开启，停止或暂停你的MP3播放器，除非你非要说你的触摸屏界面具有语音提示的功能。

而另一方面，机械按键在某种程度上可以盲操作，比如我们可以不看着键盘进行打字。

手持型的触摸屏设备通常都需要两只手操作 通常是一只手拿着设备，另一只手进行操作。因此操作的时候需要两只眼和两只手。

你的手指并不透明  触摸屏越小，手指遮挡的问题越严重，手指不会像图像和芯片一样缩小，这是有时需要触笔的原因之一，因为它可以替代手指而且非常纤细不会遮挡屏幕。

我们不用手指作画是有理由的 即使是在大尺寸表面，用手指也不如用画刷或触笔来进行写和画更有效。在小型设备中，几乎不可能用手指替代触笔来记笔记或画画。如果设备支持高质量的电子墨水并具有合适的触笔和设计，用户可能可以像在纸上一样流畅地写笔记。值得注意的是在几乎所有只支持手指输入的设备中，都不支持草书功能。

太阳光 我们都曾经历过在户外阳光下很困难地读取MP3播放器，手机或数字摄像机上的LCD显示。但是至少在这些设备中，部分的功能可以通过机械按键来控制。比如即使你看不清屏幕的显示，你还是可以将数字摄像机对准目标按下快门。但是在只依赖于触摸屏的界面中，这就有些困难了，除非设备具有卓越的反射显示功能，否则在强光下可能无法使用。

但是所有这些问题是说明触摸设备不好吗？不，一点也不，这只是说明它具有自己的优缺点。天下没有免费的午餐也没有万灵药，如我所说，所有事物都对某些东西来说是最适合的，而对其它东西来说就是最不适合的。理解以及权衡这个相对的含义才能做出一个明智的决定，只是大多数消费者和设计者都没有足够的经验能够认识和理解这个问题，这正是我们需要多做一些工作来弥补的地方，希望我所写的对你们能有所帮助。

不完全和简单注释的多点触摸及相关技术的编年录

最开始...  打字和N键响应(N-Key Rollover)（IBM及其它）

• 尽管看上去和多点触摸屏相差很远，但多点触摸的故事始于键盘。
• 尽管它们是机械式设备，比软件更“硬“,但是它们的确包含了多点触摸的技术。
• 起初，我们使用顺序组合键，诸如SHIFT,Control,Fn或ALT与其它键进行组合，这是多点触摸的雏形。
• 接着，我们想将不是故意但有时却不可避免地同时按下几个键的情况赋予正确含义，这就是所谓的N键响应（当你按住的前一个键未松开时按下另一个键）

电声音乐:  早期的电子触摸传感器(Hugh LeCaine , Don Buchla & Bob Moog).
http://www.hughlecaine.com/en/instruments.html

• 比PC更早的触控设备
• 许多早期的音效合成器和电子乐器的制作者们用接触式电容传感器来控制声音和音乐
• 这些是触摸板，不是触摸屏。
• 这些为音乐而设计的触控设备是多伦多大学的多点触摸表面和CMU Sensor Frame的早期基础。

1972:   PLATO IV触摸屏终端((Computer-based Education Research Laboratory, University of Illinois, Urbana-Champain)  http://en.wikipedia.org/wiki/Plato_computer

• 触摸屏在60年代后期开始研发。
• 早期工作成就于IBM, the University of Illinois, and Ottawa Canada.
• 到1971年许多不同的技术被揭开。
• 它们都是单点触摸，并且不能感应压力。
• 最早的普遍被大众所知的是PLATO IV电脑辅助教育系统的终端，开发于1972年
• 和使用触摸方式一样受人瞩目的是它的实时随机存储音频回放功能以及平板等离子显示。
• 它所用的触控技术是如今红外触控技术的前身，这项技术至今仍在使用（如CarrollTouch)
• 最初的设计具有16X16的触摸分辨率。

1981年: 用于机器人的触觉阵列传感器(Jack Rebman, Lord Corporation).

• 为一个可以感应形状、方向的机器人所设计的多点触摸传感器。
• 在一个4'X4'的正方形平板上由8X8阵列的传感器组成。
• 用法描述于Wolfeld, Jeffrey A. (1981). Real Time Control of a Robot Tactile Sensor.  MSc Thesis.  Philadelphia:  Moore School of Electrical Engineering.
• 图片显示的是在一个触觉传感器上放置一个圆形物体的成像结果。Groover, M.P., Weiss, M., Nagel, R.N. & Odrey, N. (1986).  Industrial Robots. New York:  McGraw-Hill, p.152.)
• 1985年由Rebman申请了相关美国专利 (4,521,685)

1982:  柔性机界面 (Nimish Mehta , University of Toronto).

• 我所知道的第一个为电脑系统设计的多点触摸人机交互系统。
• 由一个毛玻璃面板构成，这种面板具有的光学特性可以让置于其后的摄像头记录下与手指在白色背景上的压力大小相关的黑点。这种特性和简单的图像处理结合就可以实现基于多点触摸的画图功能。那时候我们还讨论了用一个投影仪为摄像头和观众定义背景的想法
• Mehta, Nimish (1982), A Flexible Machine Interface, M.A.Sc. Thesis, Department of Electrical Engineering, University of Toronto supervised by Professor K.C. Smith.

1983：“软机器”(Soft Machines)  (Bell Labs, Murray Hill)

• 我所知道的第一篇试图深入探讨基于触摸屏的用户界面特性的论文，他们称之为“软机器”。
• 尽管不是专门针对多点触摸技术，这篇论文勾画的许多特性使这种系统在某些应用背景中非常吸引人。
• Nakatani, L. H. & Rohrlich, John A. (1983). Soft Machines: A Philosophy of User-Computer Interface Design. Proceedings of the ACM Conference on Human Factors in Computing Systems (CHI’83), 12-15

1983： 视频场所/视频书桌(Myron Krueger)

• 一个可视系统，可以跟踪手以及允许多个手指，手和人通过很多丰富的手势来进行交互操作。
• 可以用在很多地方，包括书桌和墙壁。
• 本身并不能感应触摸，因此主要根据姿势停留的时间来触发事件。
  但是从用户的角度看来，在水平桌面的设置中，该系统是基于触摸感应的。
• 主要描写了大量的无阻碍的交互手势（不用手套，鼠标，触笔等）。
• 所做的工作非常超前且具有巨大影响力，但是认知度并不太高。
• 他所描述的大部分现在刚开始使用的手势可以从下面这个1988年的视频中看到，包括通过“pinching”的手势来缩放物体http://youtube.com/watch?v=dmmxVA5xhuo
• 还有很多这个系统的演示视频，任何在这个领域的人都应该看看，并且读一读以下这些书：
  Krueger, Myron, W. (1983). Artificial Reality. Reading, MA:Addison-Wesley.
  Krueger, Myron, W. (1991). Artificial Reality II. Reading, MA: Addison-Wesley.
  Krueger, Myron, W., Gionfriddo, Thomas., &Hinrichsen, Katrin (1985). VIDEOPLACE - An Artificial Reality, Proceedings of the ACM Conference on Human Factors in Computing Systems (CHI’85), 35 - 40.

1984： 多点触摸屏(Bob Boie, Bell Labs, Murray Hill NJ)

• 一个多点触摸屏，不是平板。
• 第一个我所知道的多点触摸屏。
• 用一个透明的电容传感器阵列覆盖在CRT上。可以用很快的的相应速度通过手指操控图形物体。
• 由Bob Boie研发，但是由Lloyd Nakatani 向我展示的，他在1985年的SIGCHI上看到我们所做的工作后邀请我参观了贝尔实验室。
• 因为Boie的触摸屏是透明的，而且速度比我们的快，当我参观的时候，我认为他们已经领先于我们，所以我们就停止了在硬件上的研发（寄希望于可以获得他们的技术）并且专注于我们的强项：软件和交互方面。我们猜想Boie的技术会在不远的未来为我们所用（后来并没有）。
• 大概在1990年，我从Xerox带来一个小组来参观这个技术，因为我感觉它会很适合做我们大型文档处理器的用户界面，但是并没有成功。
• 在Boie时期的贝尔工作室中还有很多相关的多点触摸的工作，可以参阅1984年Leonard Kasday的工作（ US Patent 4484179），他使用的是光学技术。

1985：多点触摸平板(Input Research Group, University of Toronto): http://www.billbuxton.com/papers.html#anchor1439918

• 研发了一款触摸平板，可以感应任意多个同时的触摸输入，并报告他们各自的位置和触摸程度。
• 现在回过头来看，这个工作完成于1984年，是在第一台苹果机诞生的同一年。
• 由于使用的是电容而不是光学传感，因此比一般的基于摄像头的系统要更轻薄。
• A Multi-Touch Three Dimensional Touch-Sensitive Tablet (1985).  Videos  at: http://www.billbuxton.com/buxtonIRGVideos.html
  Issues and techniques in touch-sensitive tablet input.(1985). Videos at: http://www.billbuxton.com/buxtonIRGVideos.html

1985：传感器框(Carnegie Mellon University)

• 是由Paul McAvinney所做的工作，并描述于1986年的这篇论文中：
           McAvinney, P. (1986).  The Sensor Frame - A Gesture-Based Device for the Manipulation of Graphic Objects. Carnegie-Mellon University,
• 该设备使用安装在框角的光学传感器感应手指。
• 当时还没有微型摄像头，因此该设备使用DRAM IC和透明玻璃罩来进行成像。
• 可以在一定时间内相当可靠地感应最多三个手指（但是由于光学成像的原因，可能因为阴影造成误读）
• 在之后一款由NASA资助的设备原型the Sensor Cube中，设备可以检测到手指与屏幕所成的角度（见  http://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/19940003261_1994003261.pdf)

1986年：双手动输入(University of Toronto)

• 研究始于1985年，发表于次年，研究了使用两只手分别进行连续控制来完成两组不同的双输入任务的好处。
• 第一种是定位/调整任务。即一只手将某个图形移至屏幕上的某处，同时另一只手调整它的尺寸使之达到需要的目标。
• 第二种是选择/导航任务。即一只手在文档中搜索目前未被显示在屏幕上的某处，然后用另一只手选中它。
• 因为当时双手动输入的连续控制还很难实现（ADB还未被推出），我们用另一个电脑PERQ来模拟苹果电脑。
• 结果显示，这种连续的双手动控制对用户来说都很易于实现，而且在性能和学习能力上都有很大的改进。
• 参见 Buxton, W. & Myers, B. (1986).  A study in two-handed input. Proceedings of CHI '86, 321-326.[video]
• 尽管这种能力自1986年开始被实现并商用化（使用ADB，见下和后来的USB)，但仍没有主流系统采用这种基本的能力。太糟糕了。
• 这个例子说明基于多设备和多手操作的设计可以很简单地被转移到多点触控设备上。

1986：苹果桌面总线（ADB)和轨迹球滚动预置 (Apple Computer / University of Toronto)

• 苹果桌面总线连同苹果II代和苹果SE一同发布，这可以被视为USB的早期版本。
• 它支持即插即用，并且支持多种输入设备（键盘，轨迹球，游戏棒，鼠标等等）同时接入一台电脑。
• 唯一的缺憾是如果你同时接入两个定位设备，缺省状态下，软件并不能区分它们。它们都进行相同的工作，如果一个鼠标和轨迹球同时运行，那么你会看到它们在屏幕上争夺运行轨迹。
• 我在多伦多大学的小组想要利用这个多设备的优势并向苹果高级技术小组发出求助。
• 在Gina Venolia and Michael Chen的努力下，他们做出了一个用于系统文件夹的轨迹球滚动预置。
• 它能使鼠标和轨迹球分别操控滚动条的X和Y方向的滑动，见 Buxton, W. (1990). The Natural Language of Interaction: A Perspective on Non-Verbal Dialogues.In Laurel, B. (Ed.). The Art of Human-Computer Interface Design, Reading, MA: Addison-Wesley. 405-416.
• 它还可以提供另一项预置功能，使我们可以从第二个设备获取信号并利用它控制其他功能。比如 Kabbash, P., Buxton, W.& Sellen, A. (1994). Two-Handed Input in a Compound Task. Proceedings of CHI '94, 417-423.
• 简而言之，使用这个技术，我们可以将 Buxton & Myers（见上）所演示的优点用于标准硬件，无需更改操作系统，并且通常无需改动相应的应用。
  这是我们距离支持多点触摸输入最接近的一次，虽然实际上并没有成功地实现。20年后的今天，那些诸如两点缩放的技术获得了这么大的关注。但实际上在那个时候就已经可以在技术上和商业上应用了。
• 令我们失望的是，苹果当时并没有利用这一他们最感兴趣的发明的优势。

• 第一次关于将LCD显示做为输入设备可行性的讨论，比如把像素既作为输入也作为输出设备。（想像我们小时候用纸杯和线做的电话：纸杯是双向的，同时用做话筒和麦克风）
• 采用用于扫描仪的高精度2D a_Si 扫描技术并增加显示层用于显示。在研发的过程中，双向的目标没有实现，但是却催生了dpix display (http://www.dpix.com/about.html);
• 电子板项目。背后投影电子板起初是构想为一个采用双向dpix显示阵列的平板器件原型。

1991：电子书桌 (Pierre Wellner,   Rank Xerox EuroPARC, Cambridge)

• 一篇关于实物放大的经典论文：
• Wellner, P. (1991).  The Digital Desk Calculator:  Tactile manipulation on a desktop display.  Proceedings of the Fourth Annual Symposium on User Interface Software and Technology (UIST '91), 27-33.
• 早期的前置投影桌面系统，采用光学和声学技术检测手/手指和其他物体，特别是基于纸张的控制和数据。
• 清楚的演示了多点触控的概念，比如用两个手指缩放和转换图形物体，使用pinch手势等。
• 比如，这个1991年的视频演示（从6分30秒） http://video.google.com/videoplay?docid=5772530828816089246

1992：翻转键盘 (Bill Buxton, Xerox PARC): www.billbuxton.com

• 一个集成在键盘背面的多点触控板。你可以将键盘翻过来利用触控板利用多种手势实现控制。
• Combined keyboard / touch tablet input device (1994). Video at: http://www.billbuxton.com/flip_keyboard_s.mov (video 2002 in conjunction with Tactex Controls)

1992： Simon (IBM & Bell South)

• IBM和Bell South推出了有争议的世界上首个智能手机 Simon
• 有趣的是，Simon和iPhone一样采用触摸屏驱动的“软机器”的用户界面。
• 虽然只是单点触摸，Simon预示了很多我们现在使用的基于触摸屏的手机设备特性。
• 花絮：我的Simon是我众多输入设备收藏中最珍贵的一个。

1992： Wacom (Japan)

• 1992年Wacom推出了电子桌面的UD系列产品，它们具有多设备，多点感应能力。它们可以感应触笔的位置和笔尖压力，也可同时像鼠标定位器一样感应位置，这是通过双手动输入来实现的。
• 我的多伦多大学实验室与Wacom合作开发了很多基于此技术并超前于触笔和鼠标定位的操作方式。详见下面的 Graspable/Tangible interfaces
• 它们的后续两代电子桌面产品 Intuos 1(1998)和Intuos 2 (2001) 扩充了多点触摸的能力。它们能够感应触笔位置的X,Y坐标，在X,Y方向上的倾斜角度（使得触笔的功效相当于一个可感应位置的游戏棒），接触压力和装在喷枪触笔边上的表盘读数。同时，它可以同时感应定位器的位置和旋转角度，以及装在它侧面的一个转盘的旋转。总共一个人可以通过两只手控制10种不同的维度。
• 尽管这看上去很夸张并且很难被控制，但是这取决于如何使用它。比如，所有这些信号和双手动输入一起可以名副其实地实现数字喷枪。有了这些技术，我的Alias|Wavefront小组和Wacom合作就可以实现它。
• 另见Leganchuk, A., Zhai, S.& Buxton, W. (1998).Manual and Cognitive Benefits of Two-Handed Input: An Experimental Study.Transactions on Human-Computer Interaction, 5(4), 326-359.

1992：Starfire (Bruce Tognazinni , SUN Microsystems)

• Bruce Tognazinni拍摄了一步未来的展望影片，Starfire,包括了很多多手，多手指交互操作，包括pinch等

1994-2002:  双手动研究(Alias|Wavefront Toronto)

• 开发了很多面向图形和其它可视物操作的多点/多手输入的创新技术，只在这里提到了其中一部分
• 有很多相关的视频展示了这些技术 http://www.billbuxton.com/buxtonAliasVideos.html
• 另见关于双手输入的论文，这里演示了对物体的多点操控http://www.billbuxton.com/papers.html#anchor1442822

1995：实控界面（Graspable/Tangible）(Input Research Group, University of Toronto)

• 在一个数字桌面显示上所感应的各种物理设备的身份、位置甚至旋转角度，并通过它们控制图形物体。
• 通过相关的论文介绍了被称为“实控”的计算。
• Fitzmaurice, G.W., Ishii, H. & Buxton, W. (1995). Bricks: Laying the foundations for graspable user interfaces. Proceedings of the ACMSIGCHI Conference on Human Factors in Computing Systems (CHI'95), 442–449.

1995 DSI Datotech (Vancouver BC)

• 1995年，这家公司推出了一种触摸板，HandGear，可以感应多点触摸。他们也开发了一套软件包Gesture Recognition Technology (GRT), 用来识别触摸板捕捉到的手势。
• 公司大约在2002年破产。

1995/97： Active Desk (Input Research Group / Ontario Telepresence Project,  University of Toronto)

• 大概在1992年，我们做了一个具有背面投影显示的绘图桌，背投屏幕/桌面是一个由半透明触笔操控的数字图形桌面（Scriptel）。触笔由常用手进行操作。1995年，我们在桌面上安装了一个摄像头。它可以跟踪非常用手在桌面的位置，以及拇指和食指所成的姿势（张开的角度）。非常用手可以通过在虚拟物体上张开或并拢拇指食指的方式抓住并操纵物体。这个显示工作是由一个学生Yuyan Liu所做。
• Buxton, W. (1997). Living in Augmented Reality: Ubiquitous Media and Reactive Environments. In K. Finn, A. Sellen & S. Wilber (Eds.).  Video Mediated Communication. Hillsdale, N.J.: Erlbaum, 363-384. An earlier version of this chapter also appears in Proceedings of Imagina '95, 215-229.

1997： T3 (Alias|Wavefront, Toronto)

• T3是一个基于双手动输入的平板系统，它所使用的技术可以或已经同样很好地被应用在多点触摸设备中。
• 这些技术包括且不仅限于通过手的开合动作来抓住一个图画界面并通过其两端调整大小。类似的也可以对背景中的单独图形物体进行同样操作（这仅是将Ivan Sutherland’s Sketchpad系统中的概念用多点操控来进行实现）。
• 类似的，还可以抓中一个物体通过其两点旋转，同时控制轴心和旋转角度。同样还可以移动物体。
• 有趣的是可以将诸如移动，缩放的操作同时进行。
• Kurtenbach, G., Fitzmaurice, G., Baudel, T. & Buxton, W. (1997). The design and evaluation of a GUI paradigm based on tabets, two-hands, and transparency. Proceedings of the 1997 ACM Conference on Human Factors in Computing Systems, CHI '97, 35-42. [video].

1997 The Haptic Lens (Mike Sinclair, Georgia Tech / Microsoft Research)

• 触感镜片，一个具有粘土触感的多点触摸传感器，当你用力挤压它的时候，它会发生形变，而松开它的时候又会恢复原状，是一种新奇的设备。
• Sinclair, Mike (1997). The Haptic Lens. ACM SIGGRAPH 97 Visual Proceedings: The art and interdisciplinary programs of SIGGRAPH '97, Page: 179

1998 Tactex Controls (Victoria BC) http://www.tactex.com/

• Kinotex控制器研发于1998年，展示于2000年MTC Express中的音乐触摸控制器，见视频 http://www.billbuxton.com/flip_keyboard_s.mov

1998: Fingerworks(Newark, Delaware)

• 开发了一系列具有多点触摸功能的触控板，包括 iGesture Pad。它们支持很丰富的多点/多手指手势库。
• 该公司由Delaware大学的John Elias and Wayne Westerman联合成立。
• 产品主要基于Westerman的论文 Westerman, Wayne (1999). Hand Tracking,Finger Identification, and Chordic Manipulation on a Multi-Touch Surface. U of Delaware PhD Dissertation:  http://www.ee.udel.edu/~westerma/main.pdf
• 注意Westerman所作的工作也是建立在以上介绍的前人工作基础之上的。他的论文引用了Matha 1982年多点触摸的工作，Krueger介绍pinch手势的工作。所引用的172个出处，34（20%）个是我和/或我学生的工作。
• 公司在2005年被苹果电脑收购。
• Elias和Westerman进入苹果公司。
• Fingerworks停止作为一个独立公司运营。
• 但是它仍然有很多忠实用户和许多文档，包括教程和使用手册仍然可以下载http://www.fingerworks.com/downloads.html

1999: Portfolio Wall (Alias|Wavefront, Toronto On, Canada).

• 一种数字白板，上面的图像可以成组或单独显示，允许图像被分类，标注，和排序显示。
• 由于传感器技术的限制，没有使用多点触摸。但是它的基于手指触摸手势的界面效果要超过当时使用的典型触摸屏界面和一些移动设备的触控界面。
• 比如，看下一幅图可以用手指向右轻拂实现，而看前一幅图向左轻拂即可。
• 手势不仅只支持左右滑动，用户还可以根据手指移动的方向触发不同的事件。
• 在这个系统中，一共有8个选项，对应指南针的8个主要方位。比如，在播放的视频中一个向下的手势意思是“停止”。向右上的手势开启注释功能，右下手势打开与图像有关的应用，等等。
• 见演示 http://www.billbuxton.com/buxtonAliasVideos.html

2001: Diamond Touch (Mitsubishi Research Labs, Cambridge MA) http://www.merl.com/

• 可以分辨不同人的不同手/手指，以及它们的位置和压力。
• 支持丰富的手势。
• http://www.diamondspace.merl.com/

2002: Jun Rekimoto Sony Computer Science Laboratories (Tokyo)  http://www.csl.sony.co.jp/person/rekimoto/smartskin/

• SmartSkin: 一种可感应人手和手指手势的交互界面。传感器可以识别多个手的位置和它们的形状，同时通过电容感应和网格式的天线来计算手和接触面的距离。和基于摄像头的手势识别系统相比，所有的感应元件可以集成在接触面内，并且这种方法不会受光照和污染的影响。
• SmartSkin: An Infrastructure for Freehand Manipulation on Interactive Surfaces. Proceedings of ACM SIGCHI.
• Kentaro Fukuchi and Jun Rekimoto, Interaction Techniques for SmartSkin, ACM UIST2002 demonstration, 2002.
• SmartSkin demo at Entertainment Computing 2003 (ZDNet Japan)
  视频演示如上。

2002: Andrew Fentem (UK)http://www.andrewfentem.com/

• 此人声称自2002年开始从事面向音乐和通用应用的多点触摸工作。
• 但是似乎从未在科技会议或论文中发表相关的工作。
• 因此在这个时期的工作很少人知道，而且因为没有研究结果的发表，没有得到其他人的引用。
• 所以他的工作对这个技术进化的影响很小。
• 我引用的这个例子说明还有很多类似的工作没有被报道出来，在这里只举这一个例子说明这种情况。

2003:多伦多大学（Toronto)

• 论文描述了在一个交互触摸显示界面上所应用的多手指，多手和多用户交互技术。
• 许多之前所用的简单技术因为其广为人知在这篇论文中被忽略
• Mike Wu, Mike & Balakrishnan, Ravin (2003).  Multi-Finger and Whole Hand Gestural Interaction Techniques for Multi-User Tabletop Displays.  CHI Letters

2003: Jazz Mutant(Bordeaux France) http://www.jazzmutant.com/

• 首个透明的多点触控，据我所示，是首个商用的多点触控应用
  。
• 产品名称叫做Lemur，一个具有真正多点触控屏幕界面的音乐控制器。
• Lemur早期版本发布于2004年8月的LA

2004: TouchLight(Andy Wilson, Microsoft Research):  http://research.microsoft.com/~awilson/

• TouchLight(2004) 一个触摸屏显示系统，采用背投显示和数字图像处理。将普通的丙烯酸塑料转换成一个高带宽输入输出表面，适于基于手势的交互方式。网站上有视频展示。
• 能够感应多手指多手和多用户。
• 因为丙烯酸材料是透明的，置于其后的摄像头可以实现扫描仪的功能来扫描置于其上的文档

2005 Blaskó and Steven Feiner (Columbia University):  http://www1.cs.columbia.edu/~gblasko/

• 利用压力来访问顶层器件之下的虚拟器件。
• Gábor Blaskó and Steven Feiner (2004). Single-Handed Interaction Techniques for Multiple Pressure-Sensitive Strips,
  Proc. ACM Conference on Human Factors in Computing Systems (CHI 2004) Extended Abstracts,  1461-1464

2005: PlayAnywhere (Andy Wilson, Microsoft Research):  http://research.microsoft.com/~awilson/

• PlayAnywhere (2005).  网站上有视频演示。
• 贡献：感应、识别物体和触摸。
• 一个前置投射式电脑视觉交互桌面系统。
• 讨论了安装，校正和便携性这些视觉桌面系统的典型问题。
• 使用改进的基于阴影的触摸感应算法来感应手指，手和物体。
• 物体可以通过一个快速简单的视觉编码方案被快速识别和跟踪。因此，加上多点触摸，桌面支持使用各种物理物体的交互方式，也支持实控方式的界面。
• 它也可以感应特殊物体，比如一张纸或一个手机，并且根据对象传递所需的功能。

2005 Jeff Han(NYU): http://www.cs.nyu.edu/~jhan/
----> 2006: Perceptive Pixel  http://www.perceptivepixel.com/

• 在桌面式背投表面精美地实现了很多技术和应用。
• Multi-Touch Sensing through Frustrated Total Internal Reflection (2005). Video on website.
• 在2006年成立了私营的Peceptive Pixel以进行近一步的技术研发
  。
• 在Perceptive Pixel的官方网站有最近的视频演示 http://www.perceptivepixel.com/

2005： Tactiva(Palo Alto) http://www.tactiva.com/

• 已经发布了一款名为TactaPad的产品，并展示了视频演示。
• 它利用光学原理捕捉手在电脑屏幕上的阴影和叠影，有一种如临其境的体验感觉，很像前面的Krueger的工作。
• 支持多手和多点触摸。
• 是具有触感的触摸板，或者说，平板表面根据你所触摸的不同虚拟物体或进行的不同操作会反馈给你不同的感觉。

2005:  Toshiba Matsusita Display Technology (Tokyo)

• 发布和演示了一款具有”手指阴影感应输入“能力的LCD显示屏。
• 是我在1991 Xerox PARC的讨论中的实例之一(即把LCD显示作为触摸感应元件），它不会是最后一个。
• 关键在于没有使用单独的触摸感应传感器。正如RGB像素能在屏幕的任何地方产生光，像素也可在屏幕的任意地方感应到阴影 ，因而与其它的将触摸和显示分别实现的技术相比，具有不可比拟的性能和成本上的优势。
• http://www3.toshiba.co.jp/tm_dsp/press/2005/05-09-29.htm

2005:  Tomer Moscovich & collaborators (Brown University)

• 论文所在站点：http://www.cs.brown.edu/people/tm/
• T. Moscovich, T. Igarashi, J. Rekimoto, K. Fukuchi, J. F. Hughes. "A Multi-finger Interface for Performance Animation of Deformable Drawings." UIST 2005 Symposium on User Interface Software and Technology, Seattle, WA, October 2005. (video)

2006:  Benko & collaborators (Columbia University & Microsoft Research)

• 关于在多点触摸屏幕上精确定位和选择的一些技术。
• Benko, H., Wilson, A. D., and Baudisch, P. (2006). Precise Selection Techniques for Multi-Touch Screens. Proc. ACM CHI 2006 (CHI'06: Human Factors in Computing Systems, 1263–1272
• video

2006: Plastic Logic (Cambridge UK)

• 在多点触摸板上方安置的柔软的电子墨水显示屏，即一个可交互的多点触摸显示。
• 在2006 SID conference, San Francisco.的Trade Show中做了演示。

2006:  Synaptics & Pilotfish (San Jose) http://www.synaptics.com

• 与Onyx联合开发的采用Synaptics透明触摸感应器的多点触控手机。能感应接触面的大小，因此可以区分手指（小）和脸颊（大），用户可以将电话贴近脸颊实现接听。
• http://www.synaptics.com/onyx/

2007:  Apple iPhone http://www.apple.com/iphone/technology/

• 与1992年的Simon一样，一个具有软触摸接口的手机。
• 杰出的工业设计和非常平顺的交互功能。
• 能够实现具有有限维度的多点触控。
• 利用它能够实现比如最先由Krueger介绍的"pinching"技术，即用一只手的大拇指和食指实现对地图和照片的缩放操作。
• 使用浏览器浏览网页的功能非常好用。
• 采用Alias Portfolio Wall 式的手势向前和向后滚动浏览一系列图片。
• 一开始不能用一个手指按住shift键而另一只手指键入其它字母来实现大写功能，直到发布的一年后才支持这个多点触摸功能。

2007:  Microsoft Surface Computing http://www.surface.com

• 交互桌面。
• 能感应多个手指和手。
• 能识别多种物体和它们在表面上的位置。
• 广告展示和内部研发始于2001年，由Andy Wilson (see above) 和Steve Bathiche进行。
• 该技术从研发和demo转向主流商业应用的重要象征。