编译/虚拟陀螺仪
最近,美国专利和商标局发布了苹果公司的一项专利申请,内容涉及使用激光雷达系统的点云数据压缩方案。点云可以与互联网、车辆地图系统和其他功能结合使用,这些功能可以实时或接近实时地操纵3D显示器、全息显示器或头戴式设备来显示虚拟世界。
随着数据采集和显示技术变得越来越先进,在2D或三维空间中捕捉包含数千个点的点云的能力(例如通过激光雷达系统)已经提高。此外,虚拟现实或增强现实系统等先进显示技术的发展增加了点云的潜在用途。
然而,点云文件通常非常大,存储和传输既昂贵又耗时。例如,通过私有或公共网络(如互联网)进行点云通信可能需要大量的时间和网络资源,这可能会限制点云数据的某些使用(如实时使用)。
此外,点云文件的存储要求可能消耗存储点云文件的设备的大量存储容量,这也可能限制使用点云数据的应用。这是苹果专利要解决的痛点。
苹果公司的专利涵盖了一种编码器,可以用来压缩点云数据,以减少存储和传输大型点云文件的成本和时间。
在该专利的一些实施例中,该系统包括能够压缩点云文件的属性或空间信息的编码器,使得点云文件可以被更方便地存储和传输。压缩文件可能比未压缩的点云占用更少的存储空间。
解码器通过网络从存储一个或多个点云文件的远程服务器或其他存储设备接收包括压缩属性信息的一个或多个点云数据。
例如,可以实时或接近实时地操纵3D显示器、全息显示器或头戴式显示设备,以显示由点云表示的虚拟世界的不同部分。
为了更新3D显示器、全息显示器或头戴式显示设备,与解码器相关联的系统可以基于用户操作从远程服务器请求点云数据,该点云数据可以从远程服务器传输到解码器,并由解码器实时或接近实时地解码。
在一些实施例中,系统可以包括一个或多个激光雷达系统、3D相机、3D扫描仪等。并且这种传感器设备可以捕捉空间信息,例如点中的X、Y和Z坐标。
传感器还可以捕获一个或多个点的属性信息,例如颜色属性、纹理属性、反射率属性、速度属性、加速度属性、时间属性、模式或各种其他属性。
除了激光雷达系统,3D相机,3D扫描仪等。其他传感器可以捕捉包含在点云中的属性信息。例如,在一些实施例中,陀螺仪或加速度计可以捕捉要包括在点云中的运动信息,作为与点云的一个或多个点相关联的属性。
苹果公司的专利图3D展示了一个点云被投影到多个投影上。图3E示出了点云被投影到多个平行投影上。
苹果公司的专利图5A显示了编码器的组件,包括几何形状、纹理或其他属性简化。
点云系统也可以应用于苹果的泰坦项目。例如,装备有激光雷达系统、3D照相机或3D扫描仪的车辆可以在捕获的点云数据中包括车辆的方向和速度信息。
例如,当捕捉车辆视图中的点时,它们可以被包括在点云数据中,其中点云包括捕捉的点和对应于捕捉点时车辆状态的相关运动信息。
苹果的专利申请是在2019年第四季度提交的。考虑到这是一项专利申请,该产品上市的时间尚不清楚。
本专利的发明人包括:
Khaled MAMOU:高级软件工程师。我在MPEG工作,从事点云压缩。他还在AMD为Xbox One和PS4做视频压缩。
Fabrice Robinet:工程经理
金俊生:高级软件工程师,曾在联发科技的视频压缩标准化团队工作,为当前和未来的视频编解码器标准化研究和开发视频压缩算法。
瓦莱里瓦伦丁:计算机视觉工程师
来源:patentlyapple