如何管理模拟世界的大规模测量数据

虽然将测试数据通过标准总线，如USB和以太网，传输到PC主机上(“智能”)非常常见，但是高通道数测量的采样速率非常快，很可能超过通信总线的负荷。另一种方法是在本地存储数据，在测试运行后传输文件进行后期处理，所花费的时间会增加，但能获得有价值的结果。 为了应对这些挑战，最新的测量系统集成了来自ARM、Intel和Xilinx的领先技术，可提供更高的性能和处理能力，以及现成的存储组件，以提供高通量数据传输。

借助板载处理器，处理元件更接近传感器和测量，测量系统的数据就变得更为分散。 现代数据采集硬件包含了高性能的多核处理器，可以根据测量运行采集软件和处理密集型分析算法。 这些智能测量系统能够更快地分析并得出结论，无需花费时间再等待大量的传输数据，也无需立即记录数据，优化了系统，从而更有效地利用磁盘空间。

云存储和计算的崛起

DAQ硬件和板载智能化的统一可创建出进一步嵌入式或远程系统。 在许多行业，它解决了众多全新应用的难题。 真实世界正变得智能化，人类现在也能够收集几乎所有周围环境的数据集，物联网因而出现在了我们眼前。 它能够处理并分析真实世界新数据集，将对众多行业领域产生深远的影响，医疗、能源、交通、健身器材、楼宇自动化、保险，它可谓无处不在。

在大部分的行业中，内容自身 (所采集的数据)并非问题的根本。 聪明的人们收集了大量有用的数据。 至目前为止，主要的问题还是出在IT上面。 物联网通过分布在世界各地的远程现场设备产生大量数据，有些数据还可能来自最偏远、荒凉的地区。

这些分布式采集和分析节点(DAAN)嵌入在其他终端产品中，软件驱动程序和图像并行连接至多个计算机网络，形成了计算机系统。 他们形成了最为复杂的分布式系统，生成了史上最大的数据集。 这些系统需要基于远程网络的系统管理工具来自动配置、维护及升级DAANs，并需要一种高效、低成本的方式来处理所有数据。

问题的复杂在于，如果您减少数据采集传统的IT拓扑结构，简化形式，就会发现他们实际上运行在两个并行的分布式系统网络上： “嵌入式网络”连接到所有采集数据的现场设备(DAAN)， “传统IT网络”，进行最有用的数据分析，并传送给用户。

而往往，这两个并行的组织网络内存在巨大的差异，它们不能互相操作。 这意味着，数据集的效果发挥至极致。 石油和天然气公司收集地下生成以及通过阿拉斯加管道石油量的实时数据，将这些数据交给会计部门、采购部门、物流部门或财政部门——他们都位于休斯顿——这一切在数分钟或数小时内就能完成，省去了成天甚至成月的时间。

组织内的并行网络和其中大量的投资大大抑制了物联网的发展。 而如今，通过云存储、云计算，以及基于云的“海量数据”工具，这些难题都能够得到解决。 使用云存储和云计算资源创建单个汇聚点非常容易，它能够汇集来自嵌入式设备(例如DAAN)的大量数据，且组织内的任何一组都能访问这些数据。 这就解决了两个并行嵌入式与IT网络不能相互操作的问题。

用户可以使用云中无限的存储和计算资源，并根据使用量计费，这为他们提供了管理分布式系统以及处理大型测量数据集的解决方案。 云服务供应商所提供的海量数据工具套件，可以帮助用户轻松的获取并处理这些庞大的测量数据集。

总的说来，云计算技术为分布式系统管理和数据访问带来了三大好处： 数据的汇总、访问数据，以及卸载计算繁重的任务。