java-如何学习鼠标移动？

在过去的几周中，我一直在尝试开发一种在我的应用程序中合成类人鼠标运动的方法。 开始时，我使用了多项式和样条插值之类的简单技术，但是即使噪声很小，结果仍然无法看起来很像人。

为了解决这个问题，我一直在研究将机器学习算法应用于真实的人类鼠标移动生物特征的方法，以便通过从记录的真实人类的学习中综合鼠标的运动。 用户将编辑记录的运动的概况，该概况将训练该程序用于合成目的。

我一直在搜索数周，并阅读了几篇有关逆生物识别技术在生成鼠标动力学中的应用的文章，例如用于鼠标动力学的逆生物识别技术； 但是，他们倾向于专注于从随机生成的动力学中生成现实的时间，而我希望生成从A到B的路径。另外，我实际上仍然需要想出一条路径，而不仅仅是一些 动力学从一个角度衡量。

有谁能帮助菜鸟吗？

目前，测试是通过记录动作并让我和其他几个开发人员观看回放来完成的。 理想情况下，该机芯将能够欺骗自动生物特征识别器以及真实，实时，呼吸的智人。

7个解决方案

14 votes

菲特定律很好地估计了放置鼠标指针所需的时间。 在派生部分中，有一个简单的解释，我认为您可以将其用作应用程序的基本构建块之一。 从大的动作开始，在动作的方向和长度上都增加一些误差，然后进行较小的校正动作，依此类推...

Karoly Horvath answered 2020-07-02T18:23:02Z

10 votes

首先，我想您记录了人类鼠标从A到B的运动。因为否则，尝试合成这种运动的模型对我来说似乎是不可能的。

其次，如何测量与“直接”路径的偏差，可能与时间有关。 我实际上怀疑，对于不同的角度，路径长度等，运动看起来会有所不同，但是也许您可以首先尝试使用规格化模型，只是拉伸(在空间和时间上)并根据需要旋转。

第三，学习。 最简单的方法是只收集实际动作(以我上面讨论的形式)，并从该收集中取样。 评估外观。 如果您真的想要一个概率模型，那么您必须评估哪种模型适合。 用高斯噪声模糊直接路径是否足够，您可以从训练集中学习其参数？ 还是有些(正弦)波动？ 或使用单独的模型来“接近按钮”和“最终更正”。 菲茨法则可能对评估有用。

Michael Kutschke answered 2020-07-02T18:22:41Z

2 votes

这个问题使我想起了我几年前知道的一个网站，因此我访问了该网站并发现了对该主题的深入讨论。

时间是如此的相似，以至于使我认为这个问题在某种程度上是相关的。 实际上，线程中的某人链接到您所做的同一篇文章。 如果没有关系，那么可以链接到很多人，他们正在讨论您在想什么。

Evan Cordell answered 2020-07-02T18:23:26Z

1 votes

我认为问题并没有那么明确。 到目前为止，没有提到一个重要的概念，即上下文。 Chrome聚焦时，我在屏幕上的鼠标移动与Vim聚焦时在我的屏幕上的移动大不相同。

carlosdc answered 2020-07-02T18:23:47Z

1 votes

鼠标移动的方式根据设备的类型，操作的类型，所涉及的UI元素，对UI的熟悉程度，用户尝试完成其任务的速度，用户的技能，最初的失败而有所不同。 用户的行为(例如，误点击)，用户的情绪状态(以及许多其他因素)。 您是否计划创建几种路径策略以对应不同的上下文？ 另外，您对自己要欺骗的算法有多了解？ 我假设范围不广，否则您将直接针对该算法直接编程。

如果人员正在查看路径，则他们可能能够识别与路径策略相关的状态，并且如果他们将其识别为人员状态，则可能更倾向于被愚弄(例如，用户急着，单击不当，快速关闭) 结果弹出窗口，请再试一次)。 UI不仅会影响大小和位置，还会发挥作用。 我经常快速指向工具栏，然后在选项之间滑动，直到到达目标。 另一个示例是，我通常在扫描目标或将鼠标悬停在正在阅读的文本上时暂停菜单项。 您是要模仿人类的行为，还是只是模仿他们的鼠标动作(因为我认为它们是髋关节的结合体)？

Adam Jones answered 2020-07-02T18:24:13Z

1 votes

您是否正在为游戏进行实时在线培训，以模拟类似于人类的鼠标移动？ 如果您的训练序列是静态的，则只需记录您的鼠标移动并在您单击鼠标按钮时播放鼠标单击的声音效果即可。 没有比您自己的鼠标移动更给您“真实”的感觉了。

就我个人而言，我觉得软件专家在培训视频中过快地移动了鼠标。 我更喜欢截屏视频软件采用的一种方法，我看到这种方法总是使鼠标从点A-> B线性移动。诀窍是，无论距离多远，视频中每次鼠标移动总是花费相同的时间，例如 3/4秒，然后再单击鼠标。

我相信他们以这种方式移动了鼠标，因为观看者可以通过鼠标在开始时移动的方向和速度来预测鼠标的着陆区域。 在训练情况下，我认为像这样的常规运动在眼睛上比较温和，也许更容易保留/调出。

DWoldrich answered 2020-07-02T18:24:43Z

0 votes

您是否考虑过将鼠标跟踪添加到您的应用程序，以便从根本上记录用户如何移动鼠标然后分析记录？

我最近没有对此进行研究，但是我相信Swing应用程序中的MouseListener可以获取您所需的信息。

Thorbjørn Ravn Andersen answered 2020-07-02T18:25:08Z