导读:利用雷达系统来帮助确定头显方位,以允许渲染对象相对于真实世界保持与静止的位置。
即便用户移动头部,增强现实设备都能够允许渲染对象相对于真实世界保持于静止的位置。例如,如果用户将向右旋转头部,则渲染对象必须与真实世界对象一起在用户视图中向左旋转。对于这一点,系统需要确定头显方位,亦即需要确定穿戴头显的头部的定位。增强现实设备的运动可以通过诸如惯性测量单元(IMU)等测量组件进行追踪,以便系统调整渲染对象的位置。
美国专利商标局日前公布了Magic Leap一份于2019年5月提交的专利申请。具体来说,名为”Radar head pose localization“主要描述了一种利用雷达确定头部定位的技术。
在一个实施例中,专利描述的头戴式设备包括框架、雷达系统、测量单元、测量单元滤波器、传感器融合模块、渲染模块、目镜和投影仪。
如图一所示,增强现实设备是#10和用户头部为#12。增强现实设备#10可以包括框架#14、雷达系统#16、测量单元#18、第一目镜#20和第二目镜#22、第一投影仪#24和第二投影仪#26,以及前置摄像头#28。
其中,雷达系统至少包括第一雷达组件。第一雷达组件具有固定在框架,并且于第一时间和第二时间在快域发射无线电波时的第一雷达发射器,以及固定框架并在无线电波从表面反射后检测无线电波的第一雷达接收器。
雷达系统同时包括雷达追踪模块。雷达追踪模块接到第一雷达接收器,其分别在无线电波的发射和检测之间,于快域确定第一时间间隔和第二时间间隔。
雷达系统同时包括雷达映射模块。雷达映射模块接到雷达追踪模块,并且至少基于快域中的相应时间来生成相对于真实世界对象位置的第一和第二雷达映射。
雷达系统同时包括图像处理模块。图像处理模块接到雷达映射模块,并分别基于第一雷达映射和第二雷达映射中的真实世界对象位置来计算第一雷达fingerprint和第二组雷达fingerprint。
一般来说,系统发出一个或多个TX信号,然后一个或多个对象反射回信号(RX)。可以使用一个或多个操作将接收信号转换为距离多普勒图,包括转换为慢时间/快时间图、加窗傅里叶快速变换(FFT)和背景减法。
图5说明了无线电波朝增强现实设备#10的前方、左侧和上方的发射和接收。每个TX信道可以发射表示各个TX信号的各个无线电波#110A,并且每个RX信道可以接收表示各个RX信号的各个无线电波#112A。所以,增强现实设备#10可以在左侧和右侧,以及上方天花板检测表面。
除了雷达系统外,头戴式设备另外包括框架、测量单元、测量单元滤波器、传感器融合模块、渲染模块、目镜和投影仪。
其中,测量单元可以固定到框架,并可以于第一时间和第二时间在慢域检测第一测量值和第二测量值,而每个测量值都指示测量单元的位置和移动。测量单元滤波器接到测量单元。
传感器融合模块可以接到图像处理模块,并且可以用于:(i)确定第一姿态和第二姿态估计,第一姿态估计基于相对于第一测量值的第一组雷达fingerprint,第二姿态估计基于相对于第二测量值的第二组雷达fingerprint;(ii)通过比较第一姿态估计和第二姿态估计来确定测量单元的漂移;以及(iii)调整测量单元滤波器以校正漂移。
渲染模块可以基于第二姿态确定渲染对象的期望位置。目镜可以固定在框架。投影仪可以固定在框架,并且可以将数据转换为光来生成渲染对象,然后通过目镜将渲染对象显示在所需位置。
通过上面描述的多组件协作,头戴式系统可以确定头显方位,并允许渲染对象相对于真实世界保持于静止的位置。
相关专利:
Magic Leap Patent | Radar head pose localization
https://patent.nweon.com/18844
名为”Radar head pose localization“的Magic Leap专利申请最初在2019年5月提交,并在日前由美国专利商标局公布。