物联网中的传感器融合和远程情感计算

摘要

传感器技术时代已经到来。现在，很难见到不使用传感器为用户创造新体验的电子消费产品。传感器正在经历复兴，这是由于微机电系统（MEMS）技术价格降低了，尺寸也缩小了，因此又推动了传感器在新应用的使用，并为传感器市场营造了新机遇。

1.引言

传感器现在用于各种应用中，如智能移动设备、汽车系统、工业控制、医疗保健、石油勘探和气候监测。传感器无处不在，现在传感器技术已开始密切模仿终极感知设备，即人类。传感器融合使这成为可能，该技术利用微控制器（“大脑”）将从多个传感器采集的各个数据融合在一起，获得的数据视图比单独使用各个离散传感器获得的视图更准确、更可靠。使用传感器融合整体采集的数据远远大于各传感器独立采集的数据之和。

传感器融合支持环境感知，这对物联网（IoT）来说蕴藏着巨大潜力。传感器融合针对远程情感计算（情感感测和处理）的演进在未来还可能产生激动人心的新应用，包括智能医疗。然而，这些功能也带来了物联网监管中需要解决的严重的隐私问题。随着传感器融合和REC技术的使用不断增加，将采集大量的环境感知数据。这些数据结合物联网对“空中全球神经网络”和基于云的处理资源的访问，将进一步推动为给定情况提供自定义的环境感知服务。这些服务可基于单个用户正在做什么、设备正在做什么、基础设施正在做什么，大自然正在做什么等环境，以及所有上述内容的各种组合。

图1传感器融合：人体模型

2.人类：终极传感示例

为了了解传感器融合如何工作，让我们看看人体内感知的工作方式。一个人在许多方面体验外部世界。视觉、听觉、化学感觉（嗅觉和味觉）和表面感觉（触觉）都提供关于一个人周围环境的感官信息，这些信息通过外周神经系统（PNS）传递给大脑。然后大脑决定如何响应一个给定的情况或体验。

PNS对它传输的信息不制定复杂的决策；这些决策由大脑制定。对感觉输入，大脑的反应是发送运动信息，这是人类对输入的响应。例如，一个行人看到一辆汽车向他开过来，他的大脑告诉他的肌肉以更快的速度走到路的另一边，避免发生事故。人还接收来自他们内脏器官的信息，其中一些信息非常明显，如胃疼。还有其他类型的体内信息是人无法感知的，如血压，这些信息用于调节人体的内部环境。

图2计步器案例分析

大脑是最终的决策者。然而，如果没有外周神经系统带来感知信息并发出运动信息，人将无法行走、说话或我们经常认为理所当然的许多其他功能。大脑经常使用数个感官输入源验证事件，并完善非“完整性”信息，从而做出决策。例如，人可能看不到汽车引擎盖下的火焰，但橡胶燃烧的气味和仪表盘散发的热量将告诉大脑需要离开这辆汽车，因为引擎起火了。在这种情况下，使大脑做出反应的信息大于独立感官输入之和。

在技术世界，传感器融合发挥的作用与此相似。传感器融合将来自多个传感器的输入整合在一起，提供更准确、更可靠的传感，能够产生更高水平的认知，并提供新的应对措施。各个传感器都有固有的局限性，可能产生错误，但这些错误可以由补充传感节点进行纠正或进行补充。例如，陀螺仪会随着时间的推移而产生偏移，可以使用配备的加速计来补偿这些偏移。因此，（来自多个传感器的）融合的传感器信息比单独的传感器数据更准确、更可靠。

3.不断发展的传感器技术改善日常生活

让我们看一个计步器的简单示例。传统的计步器使用一个钟摆，需要以垂直的角度佩戴在髋关节，以避免错误读数。当用户走动时，计步器跟踪钟摆随着髋关节的运动来回摆动，摆动一回便计数一次，以此对每一步进行计数。然而，由于步幅、攀登/步行角度的变化以及当用户驾驶汽车或进行其他运动时的错误计步，无效读数很常见。

基于MEMS的惯性传感器带来了很大的改进。第一代基于MEMS的计步器使用的加速计对人的加速度执行1轴、2轴或3轴（3D）检测，更准确地测量步数。此外，老式机械计步器只根据摆动次数记录步数，而加速计则每秒多次测量一个人的运动。

但是，如果您不仅想计量步数，还想准确地计算上下楼梯或上下山时燃烧的卡路里。下一代计步器添加了高度计，测量和计算人在行走时相对于某个固定参考点的高度变化。高度计技术用于检测高度计或气压计（BAP）应用中的绝对气压。要获得精确的压力读数还需要进行温度测量，因此通常会增加某种温度补偿电路以提高测量精度。

继挂在慢跑者手臂上的早期便携式音乐播放器获得成功后，现在有许多设计佩戴在手臂上的独立计步器和有计步器功能的手机（而不是挂在髋关节的皮带上）。在这个使用案例中，手臂运动引入了寄生运动。陀螺仪可测量手臂的旋转运动并对其进行补偿。

将三种传感器（加速计、高度计和陀螺仪）和MCU结合在一起来测量和处理读数，就产生了高精度计步器。

4.传感器融合如何工作

最基本的传感器融合示例是电子罗盘，它结合了3D磁力计和3D加速计来提供罗盘功能。更复杂的传感器融合技术增强了用户体验，充分利用3D加速计、3D陀螺仪和3D磁力计（，测量相对于给定器件空间方向的特定方向上的磁场组成），并将它们融合在一起。每种传感器都有独特的功能，但也有其局限性：

？加速计：x轴、y轴和z轴线性运动感测，但对振动比较敏感

？陀螺仪：俯仰、翻滚和方位角感测，但有零位漂移

？磁力计：x轴、y轴和z轴磁场感测，但对磁干扰比较敏感

传感器融合将所有这些技术结合在一起，接收来自多个传感器的同时输入，并对输入进行处理，产生一个综合了各个部件输出的最终输出值（即，传感器融合使用特殊算法和滤波技术，消除了各个独立传感器的不足之处－类似于上述人体的功能）。

传感器融合提供了一套完整的功能，可使我们的生活更简单，并支持可以利用这些功能的各种服务。

传感器行业目前面临的问题之一是各个操作系统（OS）缺乏标准化。目前，大多数OS驱动程序需要最基本的传感器数据，这使传感器无法发挥其所有功能。

传感器融合是Microsoft战略的一部分，因此Windows 8 OS都支持传感器，使用传感器级驱动程序，这些驱动符合其与微软的生态系统合作伙伴共同制定的标准（Human Interface Device specification 2011）。Windows Runtime编程模块允许轻量级执行调用，使传感器能够在硬件级进行处理。

传感器融合通常是指将3D加速计、3D陀螺仪和3D磁力计结合在一起，这种配置被称为9轴系统，为用户提供9个自由度（9-DoF）。2012年，飞思卡尔推出了面向Windows 8的12轴Xtrinsic传感器平台，提供了12-DoF传感器融合解决方案，该解决方案包括气压传感器、温度传感器和环境光感测功能。

图3面向Windows 8的12轴Xtrinsic传感器数据流

这个全面的硬件和软件解决方案使用飞思卡尔32位MCU融合了加速计、磁力计和陀螺仪数据，并提供了易于集成的特性，从而简化了开发。微软的Windows 8 OS针对平板电脑、笔记本电脑和其他移动设备借助个人计算机的计算能力，扩展了运行智能手机和平板电脑应用的功能。飞思卡尔凭借其传感器融合平台，从微软获得了Windows 8认证，成为第一批获得该认证的公司之一。

基本的传感器融合处理需要10–12 MIPS.对于9-DoF传感器融合，这种要求可达到18–20 MIPS处理周期。有各种方法可以满足这些处理要求（每种方法都有优缺点），包括为传感器处理添加专用的协处理器，或使用有足够的性能扩展空间、允许随着时间的推移增加新功能的功能强大的MCU.

5.其他传感器融合示例

飞思卡尔正在进行有关传感器在医疗电子中的使用和非医疗应用的多传感器处理的研究。JoséFernández Villase？or博士是一位医学博士兼电气工程师，他既是飞思卡尔医疗产品市场营销专家，同时也是一家医院的医生，研究使用传感器（这是REC技术的较大的基本构件）进行情感分析，他将这两个身份完美地结合在一起。研究表明由于物理活动导致心律增加的模式和幅度与由于肾上腺素激发的心率增加的不同。因此，人们可以使用算法并分析传感器数据，以电子方式检测一个人所显示的情感的类型。

下面是一个游戏平台示例，这个游戏平台能够监控生理变化和状态并采集数据，从而以电子方式检测情感，例如：

？肌肉放松（MR）－通过压力传感器

？心律变化（HRV）－通过一个芯片上的双电极ECG

？流汗（S）－通过电容式传感器

？姿态（A）－通过加速计监测一个人的放松状态（生涩的动作和平稳的手）

？肌肉收缩（MC）－通过压力传感器

图4使用情感感测的环境感知：工作方式

使用采集的传感器数据，游戏平台里的MCU能够在游戏情境过程中检测情感，并为玩家提供反馈，使游戏更精彩。是否可以在赛车游戏中当检测到玩家处于更放松的状态（加速计的读数减少）然后使转弯速度更快、更难操控？这样，能够更好地控制情感的，沉稳的驾驶员得分会更高（与现实生活相似）。如果本地控制台的MCU提供处理功能，这将被视为本地情感计算，如果基于云的系统提供处理功能，则被视为远程情感计算。在基于云的系统中，可利用复杂的大数据算法对游戏场景提供更详细的响应。

在另一个示例中，传感器可用于通过测量用户拿手机输入文字或拨打电话的方式，检测用户的情感。此外，软件算法可用于分析人输入文字的方式、手机运动是否平稳或者在输入文字时犯了多少错误（使用退格键），提供有关个人心理状态的其他背景。

图5物联网：不同的服务，不同的技术，对每个人的意义不同

6.在物联网中充分利用传感器融合

正如白皮书“物联网要变成现实‘还缺什么”所述，物联网包含了许多用例——从互连家居和城市、互连的汽车和道路到跟踪个人的行为并使用采集的数据来推送服务的设备。物联网是一种普遍的“空中全球神经网络”，将触及我们生活的各个方面。从技术的角度来看，物联网被定义为与其他机器、对象、环境和基础设施进行交互和通信的智能机，会产生大量数据，并将这些数据处理成有用的行为，可以“指挥和控制”事物并使人类的生活更加轻松。

所有物联网用例的通用要求包括：

？传感和数据采集功能（传感节点）

？本地嵌入式处理层功能（本地嵌入式处理节点）

？有线和/或无线通信功能（连接节点）

？软件自动执行任务，并启用新的服务类别

？远程网络/基于云的嵌入式处理功能（远程嵌入式处理节点）

？整个信号路径都具有完整的安全性

图6物联网的功能块