骨架识别的技术解决方案主要有数模逻辑推理和机器学习两种方案。
数模逻辑推理是通过人体的某个关键可识别的关节点,通过人体特征推理出人体每个关节点的位置,这种方法简单易实现,但是人体是柔性、易变形、随机动态变化的,没有一种逻辑推理方案能够把人体的运动模拟出来,导致识别准确率不高而没有实用价值。
这就是OMEK(被Intel收购)和Softkinetic(Intel合作伙伴)几年也不能推出商用化产品的原因。
机器学习的方法是通过大集群计算机“学习”成千上万的人体行为样本,得到基本人体行为模型,就像小孩子成长的过程。
而机器学习和神经网络是近几年逐步兴起的技术,还不是太成熟,选择什么样的“学习”方法和什么样的特征样本是至关重要的,也是需要不断试验的。
但是大集群计算机本身成本就异常高,动辄千万元人民币,没有扎实的研究基础,一般厂商不敢轻易尝试。
对于人物提取技术来说,就是要把复杂的动态环境去除,把真实的“人”提取出来。
这个在工程上也有较高的难度,比如人与桌子接触,人与人握手和人体被局部遮挡。
抽象理解就是人体分割和人物跟踪在现有的基础条件下,不会有完全精确的解决办法,只是相对解决。
人体的动作是三维的,当然对人体动作的测量也必须是三维的。
3D拍摄或测量技术实际上是相对比较成熟的技术,具有多种解决方案,比如单彩色摄像头、双彩色摄像头、光干涉、超声波、结构光散斑和TOF(测量光的飞行时间)等等。
除了TOF,其他的测量方式可以说都是基于三角测距的原理,不同点在于对特征点的提取不同。
对于人体动作来说最主要的难题就是三维测量的实时性和3D测量数据对骨架识别的适用性。
人眼的反应时间一般小于120毫秒,也就是说3D测量到骨架识别最大允许时间必须小于100毫秒,才能够与应用对接,这就要求三维测量的计算量不能太大,要不然成本太高就不适合消费级产品使用。
彩色摄像头是以颜色和纹理为基础的,光线细微的变化都会带来图像处理上较大的差别,对于纹理的细微分别决定了彩色摄像头只能局限在近距离(0.8米以内),这就是我们可以看到三维拍摄的图像都是黑白的灰度图的原因。
彩色图像颜色提取的方式,抗光线和同色系干扰的能力极差,原理上很难把不同的物体区隔出来,得到的三维图像体感也是无法使用的。
这就是为什么leapmotion必须是室内向上拍摄,通过LED把手掌点亮的原因。
光干涉的原理精度高,但是计算原理就决定了该方法计算量超大,为了减少计算,就要想办法省略物体的整体构建,只计算物体的边缘轮廓。但是物体边缘轮廓的三维信息根本就做不出骨架识别的训练算法。
Intel的realsense,还有Pepplesinterface面临相同的困境,可以三维测量,却不可以体感。
Primisense的结构光散斑测量方法,就是在测量精度和计算量上面向体感技术作出平衡的最优方案之一。
Primesense的精度为厘米级,判断人体动作已经足够了。
TOF的方案分辨率很难再提高了,而且测量光飞行时间的晶振芯片和摄像头模组技术难度太大,从图像质量和成本的角度考虑,TOF在很长一段时间内仍然落后于结构光方案。
超声波的精度太低,远距离实用性不强。
数模逻辑推理是通过人体的某个关键可识别的关节点,通过人体特征推理出人体每个关节点的位置,这种方法简单易实现,但是人体是柔性、易变形、随机动态变化的,没有一种逻辑推理方案能够把人体的运动模拟出来,导致识别准确率不高而没有实用价值。
这就是OMEK(被Intel收购)和Softkinetic(Intel合作伙伴)几年也不能推出商用化产品的原因。
机器学习的方法是通过大集群计算机“学习”成千上万的人体行为样本,得到基本人体行为模型,就像小孩子成长的过程。
而机器学习和神经网络是近几年逐步兴起的技术,还不是太成熟,选择什么样的“学习”方法和什么样的特征样本是至关重要的,也是需要不断试验的。
但是大集群计算机本身成本就异常高,动辄千万元人民币,没有扎实的研究基础,一般厂商不敢轻易尝试。
对于人物提取技术来说,就是要把复杂的动态环境去除,把真实的“人”提取出来。
这个在工程上也有较高的难度,比如人与桌子接触,人与人握手和人体被局部遮挡。
抽象理解就是人体分割和人物跟踪在现有的基础条件下,不会有完全精确的解决办法,只是相对解决。
人体的动作是三维的,当然对人体动作的测量也必须是三维的。
3D拍摄或测量技术实际上是相对比较成熟的技术,具有多种解决方案,比如单彩色摄像头、双彩色摄像头、光干涉、超声波、结构光散斑和TOF(测量光的飞行时间)等等。
除了TOF,其他的测量方式可以说都是基于三角测距的原理,不同点在于对特征点的提取不同。
对于人体动作来说最主要的难题就是三维测量的实时性和3D测量数据对骨架识别的适用性。
人眼的反应时间一般小于120毫秒,也就是说3D测量到骨架识别最大允许时间必须小于100毫秒,才能够与应用对接,这就要求三维测量的计算量不能太大,要不然成本太高就不适合消费级产品使用。
彩色摄像头是以颜色和纹理为基础的,光线细微的变化都会带来图像处理上较大的差别,对于纹理的细微分别决定了彩色摄像头只能局限在近距离(0.8米以内),这就是我们可以看到三维拍摄的图像都是黑白的灰度图的原因。
彩色图像颜色提取的方式,抗光线和同色系干扰的能力极差,原理上很难把不同的物体区隔出来,得到的三维图像体感也是无法使用的。
这就是为什么leapmotion必须是室内向上拍摄,通过LED把手掌点亮的原因。
光干涉的原理精度高,但是计算原理就决定了该方法计算量超大,为了减少计算,就要想办法省略物体的整体构建,只计算物体的边缘轮廓。但是物体边缘轮廓的三维信息根本就做不出骨架识别的训练算法。
Intel的realsense,还有Pepplesinterface面临相同的困境,可以三维测量,却不可以体感。
Primisense的结构光散斑测量方法,就是在测量精度和计算量上面向体感技术作出平衡的最优方案之一。
Primesense的精度为厘米级,判断人体动作已经足够了。
TOF的方案分辨率很难再提高了,而且测量光飞行时间的晶振芯片和摄像头模组技术难度太大,从图像质量和成本的角度考虑,TOF在很长一段时间内仍然落后于结构光方案。
超声波的精度太低,远距离实用性不强。