五分钟带你了解物联网中的资料处理

物联网，即“万物相连的互联网”，是互联网基础上的延伸和扩充套件的网络，将各种资讯感测装置与互联网结合起来而形成的一个巨大网络，实现在任何时间、任何地点，人、机、物的互联互通。

当前物联网进展中,从技术发展趋势呈现出智慧化的特征，从管理应用发展趋势呈现标准化的特征。伴随着物联网的应用场景的拓展，会对企业的自动化、资讯化程序产生重要的影响。在物联网的应用必然会产生海量资料，那么我们该如何有效的处理这些海量资料呢？

什么是资料处理？

为了理解物联网感测器收集的大量资料，我们需要对其进行处理。换句话说，资料处理是对资料的采集、储存、检索、加工、变换和传输，目的是将原始资料转换为有用的资讯。其中，资料是数字、符号、字母和各种文字的集合。资料处理的输出的是资讯，并能以不同的形式呈现，例如纯文字档案、图表、电子表格或影象。

资料处理过程通常遵循一个由三个基本阶段组成的循环：输入、处理和输出。

输入：输入是资料处理周期的第一阶段，这是一个将收集到的资料转换成机器可读形式以便计算机处理的阶段。

处理：在处理阶段，计算机将原始资料转换成资讯。转换是通过使用不同的资料操作技术来执行的。

输出：这是处理后的资料转换类可读形式并作为有用资讯呈现给终端使用者的阶段。

那么，资料处理是如何工作的呢？

资料处理的方法

物联网的大规模应用会产生海量的资料，为了减轻系统的负荷，可以对资料的分级处理和降维处理。分级处理可以有效的减轻系统的负荷；降维处理可以有效的压缩资料量，是处理一些资料必须进行的步骤，并且已在大规模的影象处理算法中得到应用。

资料的分级处理

从资讯处理的角度,物联网可以分为三个层次：

1.底层是区域性区域的协同感知。多个同类或异类的感测器办同感知被测目标，获得立体的丰富的感知资料，通过区域性区域的资讯处理和融合，能够获得高精度的、可靠的感知资讯;

2.第二层是传输过程中的资料处理。包括面向无线传输网络状态的感知资讯的进一步聚合和融合处理，自适应传输链路状态的应用层编码和传送协议优化，以及资料的安全传输处理,使得海量资讯能够高效的、可靠和安全的传输;

3.第三层是应用支撑层上的基于各类物联网应用的共性支撑、服务决策、协调控制等。物联网的资讯是超大规模的海量资讯,需要利用感知资讯具有的时间和空间的关联特性，实现不同空间区域上的多粒度的分级储存和检索，提高资源利用率和资讯获取效率。提出一种基于多级资料处理的嵌人式中介软件系统的解决方案，系统集合了资料过滤、资料聚合和资料处理等功能，可在一定程度上提高大型应用系统的整体效率。

资料的降维处理

随着资讯科技的发展,特别是物联网技术的应用，人们将会不分时间和地点，可以方便的获得大量的资讯，人们获得的资料量将以指数形式快速增长。这些资料具有快速更新、资料维数更高、非结构化等特点。

目前人们对这些资料的处理还没有形成相应的有效方法，传统的资料分析方法在处理这些资料集合时，往往效果并不好，甚至在某些情况下失效。蕴含在资料中的知识和规律我们无法得知，将会导致资料灾难问题。因此，人们就迫切希望去认识和探索这些资料之间的奥秘。而如何能有效的利用这些高维资料是人们面临的基本问题。

在很多情况下，我们可以首先将资料的维数将到一个合理的大小，同时尽可能多的保留原始的资讯，然后再将降维处理后的资料送入资讯处理系统。这样的做法是非常有用的。而降维算法也是一些机器学习、资料探勘方法的组成部分。对资料降维处理，结合一些具体的业务需求，是一个行之有效对海量资料进行处理的方法。

降维算法主要分为线性降维算法和非线性降维算法。降维的实质就是寻找投影变换:从高维空间到低维空间变换。现在有一种最小量嵌入算法，在保持区域性等距和角度不变的约束条件下，就能很好的揭示资料内在的流形结构。

资料处理的注意事项

既然我们已经知道了资料的分级和降维处理，那么在物联网中涉及到这些问题时，有注意事项需要我们了解：

期望的输出

即使资料处理周期从输入阶段开始，我们也应该首先考虑想要的输出。换句话说，我们对什么样的资讯感兴趣？一个示例是，在机器的温度超过阈值时接收警报。

资料的储存

一旦我们弄清楚想要的输出是什么，我们就必须找到一种方法来获得它。感测器收集的资料必须以适当的形式储存，以便将其转换为我们正在寻找的资讯。

例如，当机器执行时，我们可以定期（例如每10分钟）接收资料。我们可能希望利用这些资料来计算自上次维护以来机器已经运行了多少小时。我们还可以检测这些资料中的趋势，并对何时达到特定的小时数进行预估（如果使用量保持在相同的水平）。

由于感测器收集的资料量可能很大，我们应该购买可扩充套件的云服务来储存资料。此外，我们还应该制定一个数据保留政策，以便定时清理不必要的资料。我们拥有的资料越多，储存的时间越长，储存资料的成本就越高。另一方面，更少的资料意味着更少的见解和历史参考。因此，我们必须在成本和想要储存的资料量之间进行优先级排序和平衡。

更新频率

在执行资料处理之前，重要的是要确定更新频率和资源消耗（如计算能力、功率）之间的良性平衡。“良性平衡”完全取决于物联网用例。

在某些用例中，必须立即知道收集的资料是如何影响输出的，然而，这需要实时的资料处理，这可能非常消耗资源。在其他一些用例中，收集到的资料，每天处理一次就足够了。

小结

在物联网资料处理方面，我们正处于一个充满挑战的时刻，这个时刻充满了机遇，也充满了风险。通过收集、处理和分析物联网资料，消费者和组织可以获得有价值的见解，帮助他们成长并对未来做出更好的决策。

文章整合自网络