Interfaces for Music音乐界面—

学习心得：https://blog.csdn.net/weixin_40422360/article/details/89394720

场景 Scenario

想象你们的任务是为身体有广泛挑战的成年人设计和经营一个音乐讲习班。您将与之合作的团队热衷于一起制作音乐、录制和表演–他们希望将想法定格, 创建循环和图层纹理和节拍。这群人中的一些人以前有制作音乐的经验, 但已经无法管理他们喜乐器的复杂性。将想法转化为行动的要求比过去要高得多;手指的灵巧是有限的, 随之会产生疲劳的限制。这群人中的一些人一直没能学会演奏传统的乐器, 所以这将是他们第一次在这样的群体中制作音乐。您带着一系列的手打击乐和几种选择的数字乐器前往会场;其中之一是你的手机。您选择一种乐器是因为它将小手指动作转换为更大的音乐手势;只需触摸板界面, 即可以最小的灵活性触发和塑造节拍和凹槽。你选择另一个, 因为它使用一个按钮网格, 以实现故意建立循环和谐波模式—表演者可以实现有节奏的精度, 通过一个不慌不忙, 有条不紊的方式。在手机上, 您将运行一个将手的位置和方向映射到和弦上的应用程序—表演者可以在与其他乐器相匹配的按键和和弦中即兴创作。手打击乐可以用来建立丰富的节奏层, 以支持主要的节拍。您的研讨会将在各个层面都具有包容性, 每个人都能为富有表现力的集体音乐表演做出贡献。

介绍 Introduction

在过去的几十年里, 许多技术进步似乎彻底改变了我们制作、录制、发行和消费音乐的方式。毫无疑问, 数字音乐制作和录制方法的出现在这方面产生了影响, 尽管写作、表演和商业制作音乐显然需要专业技能, 但在许多领域新技术使我们能够在有限的正式培训下实现高质量的产出。曾经多轨录音室被认为是专业音响工程师的专属领域, 现在可以使用标准的笔记本电脑来实现高质量的录音。一个典型的数字音频工作站 (DAW) 将提供一个虚拟的方法, 多轨录制 (见图 25.1.), 其中音频轨道的上限将真正取决于可用的处理能力。当然, 要实现真正专业的完成, 仍然需要经过声学处理的空间, 但混合台和板外效果处理器的基本要素现在在可负担性和可用性方面都特别容易获得。Eno (2007) 将录音工作室称为 “合成工具”, 以表彰在录音和制作过程中仍在探索的创造力, 这一概念现在在许多常见的Daw中得到了强调。包括一系列反映音乐过程的工具和术语, 这些过程超越了录音，例如表演甚至即兴创作。

从音乐表演者的角度来看, 也有同样令人兴奋的机会需要实现。数字乐器 (Dmi) 提供了大量的声音和音乐纹理, 从模仿声学乐器和传统电子乐器到产生新的和不寻常的合成声音。当然, 不要忘记, 利用数字技术增强传统声学仪器, 通过超仪器提供新的性能可能性。
能够使用各种各样的不同的仪器，作出自发的创造性判断, 这是一件有高度解放自由的事情。围绕着最新的想法，在使用djembe（非洲手鼓）代替一种桌布或从传统长笛转换到尺八, 然后再到降B高音萨克斯管。当传统乐器停止把音乐带到我们想去的地方时, 仍然有各种各样看似无穷无尽的不寻常的声音可以探索, 当心情驱使我们的时候, 我们总是可以利用工具, 让我们创造出虚拟的模式,纹理, 横扫底层的谐波结构。

与 DAWs一样, 在可负担性、可移植性和可访问性方面也有显著的收获, 但在我们如何与所有这些非常有创意的工具互动方面, 还有许多微妙之处在起作用。鉴于本章正在探讨音乐界面的设计, 预计将有一个结论部分, 其中有一套设计原则被揭示, 如果得到坚持, 将使得音乐制作的 “良好” 界面。不过, 考虑到音乐的根本创意和表现力, 特别是在表演和即兴创作方面, 这里也有复杂的情况。就 HCI 而言, 当准确性和速度等典型指标可能并不总是反映个人的创意需求时, 音乐控制界面如何被视为 “好”？例如, 一个表演者的 “好” 感可能反映了节奏精度的易用性, 因此, 将音符人工同步到节拍是非常有益的。相反, 另一个表演者可能认为 “好” 是她或他的表达意图的真实反映–即如果音符在节拍后面或前面也是可行的;学习准确地放置单音是学习演奏音乐的挑战的一部分。因此, HCI 通常可能会关注界面设计中基于任务的评估, 对于音乐演奏系统而言, 很可能会更加强调个人的整体音乐体验。

当试图获得特定的富有表现力和有意义的音乐效果 (例如eigenharp-参见图 25.2) 时, DMI 似乎很难使用。也许有多个参数在接口中被控制, 有时会很难以操作。也许最后的效果每次都略有下降, 有点落后于节拍, 在音高上摇摆不定或音色不一致。如果最终用户正在享受在基于技能的级别上掌握仪器的挑战, 那么这一切都是可以接受的。在一个表演者的背景下, 也许一个 “好” 的界面真正代表的失败和成功一样多。

相反, 可能 DMI 需要的是易执行性。预期的用户可能有限制的灵活性或限制肢体运动。这类DMI仍有多个参数被控制, 但表演背景是在一个整体内, 因此需要实现某些基本的音乐元素, 以保持表演的团结 (例如, Challis, 2013年;Challis & Smith, 2012年)。Kaossilator Pro (见图 25.3.) 是一个很好的例子, 一个主流的 DMI, 提供了相当多的音乐品种, 同时非常容易使用。也许在这种情况下, 保持音乐连贯的愿望必须超过个人绝对控制某些方面的意愿。

与人机交互中的某些其他领域一样，影响良好设计实践的许多因素也将受到个人需求的驱动，因此任何泛化都可能难以实现。在考虑音乐和残疾时，这一点尤其明显，其中界面设计可能完全由个人特定挑战的需求驱动。然而，在考虑如何设计界面和音乐系统以使非传统音乐学习者能够访问可能复杂的音乐创意或使经验丰富的音乐家将他们的知识转移到不熟悉的乐器和新的领域时，也存在同样难以概括的类似问题和妥协。
本章试图通过确定在设计过程中要考虑的一组音乐性能考虑因素，对可访问音乐交互环境中的良好界面设计进行探索。作为主要讨论的序言，以下部分介绍了有关音乐表现广度的一些开场思路。

音乐演奏 Music Performance

虽然我们可以安全地假设任何给定DMI存在的主要原因通常是音乐制作，但这种创造性实践可能发生的背景可能决定了乐器的行为方式。这将最终影响表演者与之交互并控制音乐创意的界面设计。对于许多人来说，音乐表演的概念可能暗示一个或多个音乐家为现场观众创作音乐。然而，这可能是一个相当狭窄的视角，因为在演播室录制的演出期间，实现现场表演所需的相同技能将会起作用。观众的存在将响应表演的审美吸引力，恰当地对艺术家和无能者或表达者和无生命者做出反应，确实为整体体验带来了附加的关系。这与记录的性能形成对比，其中可以纠正错误并且可以使用多次采集来增强最终体验。因此，音乐表演可以有观众，但不一定是必要的;私下演奏的新手音乐家仍在表演音乐，但衡量表演质量的判断将是内部而非外部。

正在演奏的音乐可能是作曲或安排的，虽然提供表达性解释的空间通常会遵循规定体裁和风格的文化规则和代码。即使在音乐即兴创作的地方，这些相同的惯例仍然可能存在，通过发出“蓝调”或暗示一种不合时宜的雷鬼音乐或者用嘻哈节拍和凹槽来保持即兴演奏的性质。最终，有自由的即兴创作，音乐在瞬间被实现，表演甚至丢失，在本质上是抽象的，没有预定义的结构，但并非没有表达或潜在的吸引熟悉的。在下面的大部分讨论中，重点将放在突出显示DMI设计或增强时出现的问题，以便更容易访问和使用，因为相同的功能使得乐器似乎在一个性能环境中启用，这实际上是另一种限制。

演奏行为 Performance Behaviors

在考虑使用DMI的音乐演奏时，最显着的差异可能是底层系统输出的信息远远超过初始输入的信息。以一个常见的双键电脑鼠标作为乐器软件的接口。通过将鼠标移动和按钮按压映射到共同的音乐参数，可以设计出简单的演奏。例如，鼠标光标在屏幕上的水平位置可能决定音高，音量由垂直定位决定。这些是常用的音乐映射，并在稍后的讨论中有所体现。现在让我们也映射鼠标左键，这样只有按钮关闭时才会产生声音。在仪器技能方面，这种简单的DMI具有某些性能特征，这些特性可以在许多声学乐器中找到，并且在声音方面可能会让人联想到Theremin;最早的电子乐器之一。由Leon Theremin（1925）（美国专利申请号1661058）在20世纪20年代发明的，该仪器（见图25.4。）本质上是非接触式的，物理手势被转换成类似于声音的弓形乐器的连续音调。与Theremin一样，使用基于鼠标的界面的表演者非常能够控制声音的某些关键方面（音高，音量和持续时间），并且在任一轴上的微妙变化都可以实现额外的表现特性，例如颤音和颤音。在那里，一个简单的界面将表演者的动作映射到相对直观的音乐参数上（见图25.5），同时仍然需要相当的技巧才能掌握。为便于参考，让我们给这个新工具命名：Moustrement。

现在使用这个相同的界面，但计算机屏幕被划分为网格; 可以水平访问刻度中的注释，并可以垂直访问特定的音量级别。Moustrement仍然需要一些技巧才能发挥效果，但音调正在被量化，以在关键内部产生更安全的音乐感。颤音和颤音效果仍然可以通过系统内的一些余量来实现，总体而言，我们的修订看起来比初始设计更容易使用。在音乐灵活性方面，最初的想法现在已发展成为一种全音阶乐器（见图25.6）。

对于下一个修改，想象一下，它不是产生单个音符，而是一个三音符或四音符和弦，并且和弦的音调与其在给定音阶或键中的位置相匹配（见图25.7）。这是一个有趣的补充，因为系统现在将额外的音乐价值引入输出，正在应用一组规则，基于主键计算每个和弦的正确音符。以前从未演奏乐器的人可以轻松地在一些传统乐器上即兴演奏。这在原理上类似于将变调夹应用于吉他并将一组和弦形状移动到指板的不同区域，但是使用原声吉他仍然需要学习和弦形状。在我们简单的DMI中，没有必要学习音阶的音符或和弦内的音符模式，以使这些基础和声发挥作用。考虑到只有极少的专业音乐知识才能实现的输出复杂性，这有可能成为一种非常强大的功能。

现在让我们通过将一个函数附加到剩余按钮来进一步使Moustrement更完善，该按钮引入了一个琶音器。（琶音器功能是许多合成器的一个非常常见的功能，可以使用预定义的速度将上升和下降音符的模式添加到起始音符或和弦上。）由于没有和弦构造的相关知识，我们的新手表演者现在可以在音阶内上下弹奏和弦，他们甚至可能不知道音符。如果不是琶音和弦而生成的序列成为与基础和声匹配的伪即兴短语呢？作为下一步操作，也许有一个低音线和鼓模式遵循即兴线下面选择的和声，等等…但是所有这些额外的音乐输出将来自哪里？唯一重要的音乐选择是使用和弦，现在有相当完整的音乐纹理。我们的界面根本没有太大改变，但音乐输出已经根本改变，表演者对它的控制也是如此。本质上界面距离作为预组合件的简单通断开关仅一步或两步。当这么多控件属于系统时，这真的是一个演奏吗？

用户和系统之间的基本控制平衡存在于 HCI 的其他领域, 为了音乐表演的目的, 可以在这种情况下描述为音乐人与机器的问题。为了充分理解现有的关系, 有一个区分音乐输出的不同类型和复杂性的模型将是有益的, 马洛赫、伯恩鲍姆、西纳尔和万德利 (2006年) 通过提出一个连续体来呈现这样的模型的性能行为, 其中越来越多的控制从人转移到了机器上。

基于技能的演奏行为 Skill‐based performance behaviors
早期的 Theremin 示例以及 Moustrement 的初步设计都提供了基于技能的性能行为。表演者对表达表现所需的关键音乐参数有基本的控制: 音高、音量、持续时间。有了这些水平的控制带来了微妙的变化, 在这两种乐器的情况下, 这两个仪器都可能导致颤音和颤音。虽然它们本质上都是电子乐器, 但所提供的表演行为与许多声学乐器非常一致, 而且与更复杂的 Dmi 非常一致, 这些功能可能进一步包括音色的控制。
基于规则的演奏行为 Rule‐based performance behaviors
在随后对 Moustrement 的修订中, 引入了其他不直接由表演者控制的音乐增强功能。音高在音乐音阶内被量化, 和弦能够自动创建。虽然界面保持不变, 但正在应用各种音乐规则, 为输出带来附加的价值。所应用的规则变得越来越复杂，和弦被增强成拱形模式与可变节奏, 最终成为部分定义的伪随机即兴旋律的想法,等等。它仍然是一个非常简单的接口, 但却是一个复杂的基于规则的演奏行为的接口。
基于模型的演奏行为 Model‐based performance behaviors
在基于技能的性能的另一端是基于模型的性能, 在这种情况下, 表演者可以使用的控制可能非常有限, 以至于音乐输出是完全预定的, 只能被释放, 而不是被用户与用户交互。一个开关可能是这种表演行为的接口, 在音乐音序器中触发一个完整的音乐作品, 唯一可用的动作是 “开始” 和 “停止”。

根据界面在表演者和音乐输出之间允许的控制级别, 应该可以将任何给定的音乐制作系统放置在这个连续体的某个位置, 尽管在两者之间的确切边界会有一些不确定性。然而, 尽管在某些音乐表演系统中, 仅在这一领域存在模糊之处, 但刚才描述的连续体不允许模糊模型结果和基于技能的结果之间的界限。为了说明这一点, 如果使用单个开关来触发完整的顺序音乐作品的逐字逐句发行, 例如使用 E-scape (Anderson, 1996), 性能行为在连续体中属于哪里？虽然在音符顺序方面的最后一块没有灵活性, 但在对每个音符有节奏地放置在哪里的讨论中, 可以存在的表现力完全由表演者控制。再加上通过按下开关的强度来控制单个音符的音量的能力, 这一点还会变得更有表现力。也许接口的另一个方面允许对音色或简单颤音进行一定程度的控制。音乐序列是预先确定的, 但表现形式的控制仍然与表演者一致, 至关重要的一点是，表演者仍然有可能出错。

还有其他的音乐制作系统的例子, 这些例子类似于乐器, 似乎提供了性能行为的组合, 这些行为超出了一个连续体所提供的线性关系约束的范围。我们将在下一节中介绍音乐的所有权和接口的概念。考虑到这一切, 一个更灵活的模型可能需要一个二维的性能行为空间, 在其中放置个别仪器;一个三角形区域, 每一种性能行为都与自己的角相关。, 如果不是三个行为同时都发生的情况，可以将工具放置在接近单个行为的位置, 而不排除行为对在操作的可能性(请参见图 25.8)。

除了允许以更灵活的方式放置多个仪器进行比较之外，该空间还允许提供多种交互模式的仪器;例如，Yamaha Tenori-On（见图25.9）。可以按下各个按钮以实时触发音符，并且当在回放模式中使用时，可以随着时间的推移建立步进音序模式。然后可以以各种方式编辑，复制存储和操作图层，包括将多个图层添加到“块”中。这些图层又可以作为较大的部分组合在一起，其中创建部件的所有部件已经预定义以便于性能。对于像Korg Kaossilator Pro这样的DMI（如前所述）和更复杂的构图，性能和即兴创作工具（例如Ableton Live使用Push控制器）都是如此（见图25.10）。可以创建可用于执行的片段，其中可能包括进一步操作，几乎肯定会利用基于规则的行为，但也会涉及基于技能的行为。

Magnasson（2010）通过增强Wanderley（2001）最初提出的控制模式列表来探讨音乐表演中从微观到宏观的相同转变，包括以下内容：
过滤（音频信号的时域和频域操纵）。
•声波纹理生成（通过合成或采样生成的音频层）。
•单个音符（音高，包络，振幅和音色受控）。
•音符和乐句的连续特征调制（音色，振幅，音高）。
•音乐手势（滑音，颤音，装饰音等）。
•简单的音阶和琶音（各种速度，范围和清晰度）。
•具有不同轮廓的短语（从单调到随机）。
•控制采样素材（循环点，速率，粒化，间距，过滤）。
•音乐流程的同步。
•对录制素材的高级控制（如DJ所见）。

总之，Magnasson提出了一个认知维度空间，用于比较八个轴上的DMI：表达约束，自主性，音乐理论，可探索性，需要预知，即兴创作，普遍性和创造性模拟。 Magnasson的模型能够进一步解构任何给定DMI的交互要求，以便更容易理解Malloch等人（2006）的广义性能行为（技能，规则，模型）。

所有权Ownership

虽然还在考虑音乐人诉机器问题, 但也值得考虑这种关系中的所有权概念。虽然我们已经考虑过如何相对简单的界面可以映射到潜在的复杂的声音结果, 但这不一定意味着这种将小手势重新映射到大型音乐活动的过程中, 就像挑战一样具有巨大的个人价值。产生的事件, 可能是不那么宏大的比较。在考虑到社区环境中辅助音乐技术的潜力时, 希利 (2005年) 认为音乐 “所有权” 的概念对个人特别有意义。给定的界面可以提供极大的易用性, 使极具娱乐性的音乐成果, 同时也不能让用户有很多机会发展创造性的贡献感。相反, 另一个接口可能会对一个需要相当熟练的技能才能实现可接受的结果的系统提供相当具有挑战性的访问。一方面是一种使表演者显得特别有能力的乐器, 另一方面是一种能够使表演者显得相当无能的乐器, 除非掌握一段时间。如果主人翁感对表演者有重要价值, 那么如果后一种体验被证明是最有意义的, 那或许并不奇怪。就一个例子来说, 这些个人价值观到底有多重要, 有夏洛特·怀特的故事需要考虑。11岁时, 夏洛特头部受伤, 导致身体失去所有动作。十几岁时, 她能够在德雷克音乐项目 (英国) 与音乐技术专家 (道格·博特) 合作。博特探索了实现有意义的音乐表演的不同方式, 这些表演将建立在夏洛特儿时器乐学费经验的基础上。Bott 最终设计的音乐表演系统启用了预定义的和弦形状, 可以使用从一只手基于开关的访问来选择, 而来自和弦内部的单个音符则可以通过表演者使用磁运动传感器。利用这种简单的头部跟踪和开关访问的组合, 夏洛特表演了巴赫大提琴套件的序曲。使用前面所述的性能行为模型, 很明显, 基于技能的行为与基于规则的行为 (定义的和弦形状) 一起很明显, 因为完整的和弦集基本上是基于规则的行为。谐波的进展到一个非常特殊的一块。

有这种表演的视频录制可在网上获得 (德雷克音乐, 2008) 和技能为基础的关系之间的表演者和界面是相当明显的其中。表演并不十分完美, 节奏在这里和那里瞬间失去了流动性, 但这在很大程度上是一场观众可以预测和联系到作品中音符的演奏的表演;在所有权方面, 这显然是夏洛特的表现。

能源交易所Energy Exchange

在鼠标设计示例中, 单个音符的响度由鼠标光标的水平位置决定;一个相当直观和相当常见的映射更响亮, 更低的安静。在接口没有压力敏感组件可使用的情况下, 这种基于位置的映射方法完全可以应用到能够获得相当表现力的结果的水平。不过, 要想在声学仪器中通常确定响度的方式。虽然也有例外 (例如大键琴和教会器官), 但对表现力至关重要的动态控制通常是以能量交换的角度来看待的;动作执行得越有力, 对所产生的声音的一个或多个方面的影响就越大。按、打、吹、拉、鞠躬–所有这些表演互动都有一种自然的能量交换, 乐器演奏者会感觉与发出的声音 “联系” 在一起。

这种根据执行特定动作所需的能量水平预测变化的能力是有意义的, 最终会提高表演体验, 帮助乐器手感觉与音乐输出直接相关。甚至可能是用户期望采取更有力的方法会以某种方式影响结果。在一些非接触式音乐系统中, 如声束 (Swingler, 1998年) 和 Octonic (Challis, 2011年), 有证据表明表演者偶尔会尝试尝试不一定映射到任何额外的音乐参数的手势;例如, 握手或握紧拳头, 实际被监视的唯一变化是从手到传感器的距离。
可能存在某些明显的动作需要某种程度的能量交换，这些动作已经在现有的音乐惯例中很好地映射（例如击打打击垫，按键，拔弦），并且这些动作在特定的乐器环境中可能特别有意义。那些不那么传统的声音怎么样？或者表演者没有其他工具技能可以利用或者可能有其他挑战使传统行动不易实现？

在某些情况下, “良好” 界面设计可能会探索不那么传统的物理动作映射到音乐结果, 仍然可以提供适当的努力或努力感;挤压、晃动、轻拍、敲击等。现在将是一个合适的点, 瞬间返回到示例鼠标设计。可以包括哪些能量交换机会, 使表演者和我们音乐界面的动态范围之间的联系更加有形？使用带有速度敏感按钮的鼠标可以提供一个很好的起点, 或者可能是图形艺术软件中使用的压力敏感笔。一个简单的呼吸敏感传感器, 让用户可以吹影响音量, 或一个可挤压的接口设备举行在一个备用的手, 或脚下？在线性触摸敏感电阻器上, 可以实现类似弓形的操作, 在这种电阻器上, 沿表面更有力的轻扫可能会与更响亮的声音等相关。关键是, 能量输入和接收到的音乐输出之间的这种关系可能很重要, 至少应该在设计过程中加以考虑。与所涉及的许多其他领域一样, 可能会有许多机会出现, 但感觉 “好” 的机会只能由最终用户根据个人需要和偏好来确定。

供给，约束和音乐映射Affordances, Constraints, and Musical Mappings

使用声学乐器，表演者与声音之间的联系是如此直接，以至于乐器可能被视为身体的延伸。然而，对于DMI，表演者基本上与声音产生元件分离，使得“乐器”可以被认为是两个组件：接口和声音引擎。这里重要的是诺曼（1988）对可供性的考虑，而不是坚持吉布森（1977）关于可能采取的所有行动的建议。这个概念已经嵌入在人机交互和界面设计中，特别是在这种背景下的可供性是那些在物理上可行但仅在用户的目标，信念和以前的经验背景下的行为。

显然值得考虑一个不熟悉的界面中的特定组件是否提出了我们可能在物理上进行交互的方式，但同样值得考虑用户是否可能预期共同的音乐映射有效（响度，节奏，音高，音色，持续时间），等等）。在讨论特别新颖的界面中的可供性之前，哪些界面似乎来自熟悉的声学乐器？考虑到这一点，Wanderley（2001）提出了三种考虑DMI控制器的方法：
•与仪器类似，具有类似声学仪器但依赖于合成引擎的接口。
•增强功能 - 为现有原声乐器提供新功能。
•直接使用传感器和输入设备，不参考声学仪器。

如果 DMI 类似于仪器, 则界面中会出现明显的区域性, 这些区域性建议与仪器交互的方式。除了在它的名字里有一个强有力的线索外, Beamz 激光竖琴还让人想起了一个声学竖琴, 像弦一样的激光束表明, 如果做出拔毛手势, 就会出现声音。前面讨论的 Eigenharp 看起来很像一个管乐器, 低音单簧管或巴松管, 这样, 即使是一个人没有以前的经验, 演奏一个管乐器仍然会认识到, 这个接口可能会使声音吹到它的某个地方。Korg Wavedrum 看起来像一个声学陷阱鼓, 或者可能是一个手鼓, 我们对其他 “鼓状” 事物的音乐意识表明, “打” 可能会很重要。尽管这三个示例都类似于工具 , 并建议了与接互的初始方法 , 但对于接口和基础声音引擎之间的映射将如何工作 , 很可能存在预期。这种文化熟悉无疑将伴随着文化上的限制。如果 DMI 是仪器一样和 “可吹”, 那么新用户将有理由使增加的连接, 吹得更硬将使声音 (无论可能是什么) 更响亮。对其他类似的打击乐器的认识不仅表明, 更用力地敲击 Wavedrum 会发出更响亮的声音, 而且在表面撞击不同的区域会产生不同的音色;实际情况并非如此。同样, 在 Laserharp 上提取 “字符串” 应该以某种方式反映在响度的变化中, 但现实是, 仪器的虚拟字符串根本不是动态的。因此, 在设计在某种程度上类似工具的接口时, 应该注意将发挥作用的额外期望。这种熟悉程度可能会大大降低使用新文书的学习曲线, 但如果加上一项警告, 即在某些情况下 (例如即兴创作或特殊需要教育), 可能会出现意外结果方面的障碍,例如, 敲击鼓产生一个鞠躬弦的声音, 听一个和弦, 触发一个序列, 等等。

Overholt (2012年) 承认需要进一步区分, 将 Wanderley 的三种控制器类型扩展到其他子类别, 这些子类别可以容纳类似仪器的控制器, 这些控制器使用备用映射来实现预期的映射。尽管 Overholt 的主要目的是利用嵌入式智能手机对增强型声学小提琴进行上下文化处理, 但可能的音乐控制器的扩展列表是一个额外的工具, 可以用于 Dmi 的分类和比较:
仪表式控制器:
·仪器模拟控制器 (镜像播放技术);
·仪器启发控制器 (抽象派生的技术)。
·增强控制器:
·通过捕捉传统技术进行增强;
·通过扩展的技术进行扩展。
·备用控制器:
·触摸控制器 (需要与控制表面进行物理接触);
·非接触式控制器 (自由手势-有限的感应范围);
·可穿戴控制器 (始终在传感环境中执行);
·借用的控制器 (VR 接口、游戏板等)。

与刚才描述的类似仪器的控制器相比, 那些可以被识别为备用的接口呢？如前所述, 将有那些物理元素, 提供感知的功能 (推挤, 转动旋钮, 按压开关, 刷卡触摸板等), 但也许更直接的兴趣是是否有通常相关或预期的音乐映射, 以允许？当然有许多文化和语义惯例存在, 将影响哪些音乐结果被认为是最有可能的。例如, 假设必须逆时针方向移动媒体播放器上的音量拨号, 以使声音更响亮, 或者降低合成器低通滤波器上的截止频率需要推子向上推。有了许多类似的行动与各种对比技术的经验, 它是合理的假设, 从左到右或向下向上移动将导致一定程度的增加, 反之亦然, 有许多声音和音乐参数,将很好地映射到这些相同的动作, 如音量, 音高, 衰变, 节奏等。

作为一个相对常见的备用控制器的例子, 再考虑科格的卡斯梯临。尽管有可以控制各种参数的标准器和旋钮, 但大部分性能控制都是在一个小的触摸敏感表面上使用单个手指进行的。如前所述, 在考虑性能行为时, 此特定 DMI 允许基于相对技能的交互, 在这种交互中, 单个音符被激活, 但可以通过额外的访问来访问更复杂的基于规则的行为, 从而使模式和节拍能够触发和操纵。一些针对可用二维运动的映射是相对抽象的, 需要学习 (例如, 改变鼓模式), 但另一些映射利用刚刚确定的音乐惯例。在给定的声音补丁中可用的一个常见效果是低通滤波器和截止点的低至高映射直观地与垂直移动相匹配。同样, 在有个别投档的情况下, 将从左到右进行映射。

多参数控制 Multiparametric Control

有了许多声学仪器, 玩家控制的不仅仅是单个音符的音量和音高。例如, 也许最引人注目的是, 风乐器的色调颜色会受到细微变化的极大影响。同样, 弓或采摘的位置, 或在鼓皮肤上的打手将实现可比的色调对比。在考虑设计新的和新颖的音乐性能接口时, 值得考虑的是, 该接口可以如何有效地提供多参数的声音制作和操作方法。可能有一种倾向, 试图将声音和音乐任务解构为单独的控制流, 然后给出多个参数, 以实现精确但单独的控制。然而, 在实践中, 有证据表明, 这种单独参数化的方法可能无法有效地管理类似于声学仪器中发现的更复杂的声音控制任务。

功能，即时性和即兴创作Functionality, Immediacy, and Improvisation

到目前为止，大部分讨论都集中在音乐表演界面设计的问题和挑战上，但正如前面部分所述，这包含了广泛的背景，其中包括即兴音乐以及所有自发性机会。在性能中可以存在。同样，我们可以考虑一系列即兴背景（音乐剧，音乐疗法，社区音乐，独奏家，即兴合奏等），这些背景和技巧将依据频谱中存在的方法和技术从惯用语扩展到抽象（或自由）即兴创作。使用电子乐器即兴创作的一个关键方面是在对比的声音和纹理之间快速无缝地移动的灵活性。这可以对表演者响应他们周围出现的想法的能力产生巨大影响，无论是通过反映相似的短语和纹理还是通过引入激进的变化。在任何给定的DMI中即兴创作的一个主要障碍是提供以某种方式改变声音的本能方式的直接性。如果接口是为了快速启用表演者，那么在这里需要做出许多权衡。通过即兴表演，以创造性和直观的方式访问，修改并通常与声音交互。

将音乐疗法视为音乐表演背景的一个例子。治疗师将利用技术和表现力的表现技巧，在临床环境中引发个体的反应和反应，使用即兴作为建议对话的手段，或许将物理行为视为音乐姿势，并在此过程中建立联系和沟通的基础。 Magee（2006）确定了如前所述的Theremin如何使这种关系易于被任何人访问，同时还提供一定程度的掌握的先进技术。如果治疗师在特定课程中使用DMI代替声学乐器，那么乐器仍然需要提供高水平的自主性，允许以受控和表达的方式自发地创造和操纵新的想法。例如，在不同的背景下，DMI可能非常有能力让一个经验不足的玩家能够让孩子在学校合奏中玩耍，这可能有助于最大限度地减少错误的边缘，鼓励准确播放笔记和短语，甚至可能确保音乐保持在预定的风格之内。

生命与表演美学 Liveness and the Aesthetics of Performance

音乐表演通常是表演者之间以及表演者和观众之间的共享体验。在电子音乐中，表演者和观众之间的关系可能会受到观众听到的声音的明显缺乏的身体姿势的困扰。使用高级映射或不太明显的界面最终会使观众感到困惑，因为他们后来发现难以阅读和解释表演者的行为（Paradiso，1999）。这里有微妙之处，观众会觉得与表演有关，因为视觉线索暗示了可能的结果;对未来音乐的期待感。尽管现场和表演的概念存在于艺术的其他领域，但很容易理解为什么在现场音乐表演中使用某些类型的技术可能会激发关于影响观众是否感知的经验，关系和障碍的激烈辩论。任何给定的表现“感觉”生活;表演者在场并不是唯一的问题。

在音乐界面和生活环境中值得仔细研究的所有技术候选者中，笔记本电脑必须排名很高。布朗，贝尔和帕金森（2014）描述了“表演者如何命令控制强大的，分层的声音网格，但就观察者而言，他们也可能会检查他们的电子邮件。”Blain（2013）指出笔记本电脑如何让电子音乐家将作品带出录音室并进入现场表演的舞台，争辩说尽管在作曲，乐器设计和音乐教育等领域有越来越多的学术讨论和研究，在绩效理论领域内几乎没有争论。其中的关键是Ostertag（2002）的建议，即“艺术作品的衡量标准是人们是否能够感受到艺术家身体的存在”，而现场独奏表演的持续流行，这种联系不那么明显（例如John Hopkins），Fourtet，Plastikman等）表明，在这种意义上的“活力”并不一定是所有受众的问题。

这一特殊争论超出了本章的范围，但在整个设计过程中不应忽视对潜在问题的认识; 一个高度可用和高效的性能界面可能不是那么有趣。为了在表演者和观众之间提供更有意义的联系，有充分的理由认为将表演的整体美学视为与主要人机交互问题一起的视觉体验。

再利用 Repurposing

本章的大部分内容都致力于识别界面设计在实现音乐表现方面的关键考虑因素。了解现有的性能需求应有助于设计一种或多种适当的控制和交互方法;性能需求最终将决定设计。然而，现在有越来越多的黑客和DIY音乐爱好者社区正在重新利用现有技术来创建音乐表演的替代界面。计算机游戏行业内激动人心且价格实惠的技术迅速崛起（力反馈操纵杆，触觉鼠标，游戏手柄，Wii-Mote，Kinect，Leap Motion，部分推动）创造新颖界面的技术再利用。 Oculus Rift等）还通过软件平台的出现，通过这些平台可以轻松地将这些潜在的“乐器”映射到声音和音乐（Pure Data，Max / Msp，AudioMulch，Ablteon Live，OpenFrameworks，Apollo Ensemble等）在许多方面，这里的设计过程有所逆转，因为界面内的可用动作在没有适应的情况下是不可改变的。重新调整用途的大部分过程涉及可以在现有的一组旋钮，按钮和传感器上提供哪些音乐映射。在性能需求通常决定接口设计的情况下，当重新利用接口时，性能机会将取决于所使用的设备的限制以及可能应用的规则和映射。但是，如前所述，性能行为模型如下所述，在理解表演者在系统中可能具有的不同控制水平方面仍然存在。

总结 Summary

如果在考虑任何新DMI的设计时有一个值得记住的关键点，那么在考虑艺术表达的界面时，界面设计中成功的典型测量结果并不一定能很好地转移。设计师通常会关注速度和准确度等指标，因此采用基于任务的方法进行界面评估，并通过艺术表现界面实现高度个性化的价值。一个看似复杂的界面，可能有多个参数被控制，甚至有明显陡峭的学习曲线，对于更简单的界面可能具有相当大的吸引力，这不可避免地将控制平衡更多地转移到系统而不是玩家。这并不意味着放弃从表演者到系统的相当大的控制的简单界面在音乐表演的背景下没有地点或目的，但是将支付相关的创作成本。系统实现基于技能的表演行为的潜力越小，表演者在平衡进一步远离即兴自由并逐渐接近机械约束时所感受到的就越少;最终的代价是完全侵蚀任何有意义的艺术所有权。