应用

技术

物联网世界 >> 物联网新闻 >> 物联网热点新闻
企业注册个人注册登录

戴上这款神奇手环,就能隔空体验弹钢琴、敲键盘

2021-03-25 15:28 智东西

导读:传统的VR手势操作一般有两种方案,一个是通过VR头显上的摄像头识别,另一个是手握控制器检测。

近日,在2021版IEEE VR会议论文集中,苏黎世联邦理工学院的研究人员研发出一种手环,能够为VR头显提供沉浸式的手势交互。

无需手握控制器,点点手指,就能获得像操作电脑、平板一样的体验。如果这一技术被商用,有望大大解放VR设备的交互限制,为VR设备释放新的市场潜力。

一、悬空动动手指,就能写文案、弹钢琴

传统的VR手势操作一般有两种方案,一个是通过VR头显上的摄像头识别,另一个是手握控制器检测。

但研究人员认为这两种方案都不能很好的满足VR交互需求,因此提出这种名为TapID的手环。

TapID是一种可以用来检测手部动作的腕带设备,将跟踪的手部姿势与VR设备联动。用户在左右手佩戴TapID,就能够配合VR体验虚拟现实交互。

比如,可以向用户显示一个像电脑键盘一样的页面,进行文本输入。

可以像面前有一台电脑一样,预览网页,进入搜索引擎搜索信息。

还可以在熟悉的应用程序,进行图片、文档操作。

也可以使用TapID来检测手臂上的触觉,比如识别到手指的触碰,从而旋转手握的模型。

是不是轻装上阵,又获得了沉浸感十足的体验?

二、识别精度达99.7%,采用两个加速度计

下图为TapID,中心的芯片为Dialog半导体公司的DA14695,该芯片是Dialog的蓝牙低功耗微控制器,最大的特性是“多核+蓝牙BLE5.1”。DA14695对所有惯性传感器进行采样,通过串行连接将IMU数据传输到电脑上。

TapID配置两个意法半导体的LIS2DH,是两个低功耗加速度计,通过柔性PCB嵌入腕带,以及两个板载加速度计,用于测试和比较不同的传感器配置。

上图为动作识别的流程示意模型。数据采集来自于两个3D加速度计的连续流,通过其使用变化率分数识别手指点击动作。在检测到动作后,输入到神经网络分类器中识别点击动作。神经网络分类器架构包括五个卷积层块和两个最终的线性层,它们构成softmax激活函数,根据手指动作呈现概率分布。当确定了那个手指导致波动后,会检测指尖位置,从而将动作传输给应用程序。

TapID在灵活的表带上嵌入了一对惯性传感器,可以可靠地检测表面触觉,更重要的是,它还可以识别手指作动。研究人员在一批用户中评估了TapID的识别精度,能够达到99.7%。

结语:触觉反馈将成为VR、AR释放潜力的关键技术

自2020年以来,VR、AR出现回暖的迹象,并且朝着更加深层次的交互方向发展。本次我们看到的TapID就是从手势控制角度打破原有边界的研发。

正如扎克伯格所说,VR、AR在未来十年有望改变智能手机统治的霸权。以TapID为代表的触觉反馈技术有望成为VR、AR释放潜力的关键技术。