如何构建基于QingCloud的物联网云平台



  • 物联网将是下一个推动世界高速发展的“重要生产力”,是继通信网之后的另一个万亿级市场,而云计算将为其提供底层的IT支持。青云QingCloud作为基础云服务商,将会为物联网行业用户提供完善的应用解决方案,帮助创新企业以及传统制造企业向物联网企业转型。

    物联网(Internet of
    Things,缩写IoT)即万物互联。在不久的将来,联网的设备将不再仅限于智能手机、电脑等等,它会覆盖到智能家居、交通物流、环境保护、公共安全、智能消防、工业监测、个人健康等各种领域。物联网将是下一个推动世界高速发展的“重要生产力”,而云计算将为其提供底层的IT支持。

    青云QingCloud作为基础云服务商,将会为物联网行业用户提供完善的应用解决方案,帮助创新企业快速发展以及传统制造企业向物联网企业转型。

    下文是青云QingCloud解决方案经理彭志在深圳IoT沙龙现场演讲速记整理。

    QingCloud眼中的物联网

    1.jpg

    物联网现在非常火,据悉2015年物联网产值可以达到3500亿美元,预计到2025年全球设备连接数会达到一千亿,现在IT行业创新的焦点和关注点几乎都在物联网上。

    2.jpg

    现在全球有四大主流趋势:物联网、云计算、大数据、社交。互联网解决的是人与人沟通的问题;物联网开始解决人和物之间、甚至物和物之间的关系。比如说我们现在谈论比较多的智能汽车,实际上是物与物之间在交互和通信。后端平台可以通过实时收集上来的诊断数据和运行数据,自动的触发操作指令,来完成汽车自动驾驶,不需要人的干预和操作。

    3.jpg

    实际上物联网和云计算之间本身就是天生一对。从业务角度来看,物联网行业现在面临着快速的产品上市、数据营销、产品迭代和版本更新,就需要获得来自后端IT资源的支持。传统的解决方案通过购置物理机,自己搭建IDC来实现;另外网络的分配以及应用的搭建也需要很长的时间。而通过云计算的实施可以有效地解决传统数据中心面临的资源管理复杂、运维操作风险高、服务响应慢的难题。

    青云QingCloud 凭借快速的IT资源交付以及弹性的资源伸缩能力,帮助企业建立一个完善的IT资源平台 ,不仅满足了企业对于管理性、维护性、敏捷性的需求,还加速了新应用的部署速度,为互联网创新型业务部署提供了资源保障,让开发者和运维人员可以把更多的精力投入到业务中去。

    QingCloud物联网行业解决方案

    4.jpg

    场景一,高并发的场景下QingCloud如何帮企业解决性能和资源快速交付问题。 物联网行业由于终端数量成千上万,数据传送频率高,数据量与日俱增,从以前的TB级发展到PB级或者ZB级。物联网行业,特别是做IT运维或者做产品开发的人来说,如何选择适合企业的数据存储、分析平台,是他们的一大挑战。

    物联网,特别是智能硬件行业,业务形态和之前的互联网形态是有区别的。首先物联网需要从众多的终端采集数据存储到介质里,比如说将采集到的数据放到关系数据库或者非结构化数据库中;另一方面,物联网企业本身需要给客户提供服务,需要将下单反馈和诊断的数据推送给客户。在这一过程中,首先要解决的是如何扛住大规模的并发问题。 特别是像元征这样的车联网企业,会有一个非常明显的业务波峰和波谷,比如说早晨7点到9点之间(上班高峰期),能明显感觉到客户终端的接入数量要比夜间或者中午多出几个量级。在这种情况下,为了解决高并发问题,所有的数据会通过QingCloud负载均衡器来将业务和数据的流量分配到不同的虚机上。 同时物联网的企业会碰到短连接和长连接的服务,QingCloud的负载均衡器可以做自定义设置,让不同的业务用不同的均衡器来做负载。(相关技术文章

    5.jpg

    其次,QingCloud还提供自动伸缩(AutoScaling)功能。 以前可能需要对业务做不停地监测、然后手动添加机器,在使用QingCloud后完全不需要担心这个问题。首先,用户不需要设计业务的峰值,只需要有一个大概的考量,业务平台的架构不需要按照峰值业务量来设置。QingCloud的自动伸缩功能会帮你设计一些规则,当访问量超过了现有平台的负载量,后端的服务器数量、数据库容量、公网IP、带宽等IT资源都可以按照规则做自动扩张。当业务回退之后,又会按照这个规则进行自动收缩。目前QingCloud除了主机资源,还可以弹性地扩充带宽资源和数据库容量 ,因为QingCloud所有的资源都是秒级交付,从创建主机到主机投入使用只需要6秒钟时间,能够保证企业的业务是真正地、平滑地伸缩。

    QingCloud的计算和网络都能够Hold住你的业务。那么QingCloud的存储怎么样? QingCloud使用分布式的块存储。首先,为了保障数据的安全性,所有的存储资源,包括主机、数据库、负载均衡器、路由器等组件,都是以多个副本的形式分布地存放在不同的服务器上,天然就是高可用的设计 。当后端服务器宕机之后,它也可以非常快速地恢复。在性能方面,如果想要把对I/O要求非常高的商业数据库软件搬到云上的话,QingCloud是非常好的选择 ,特别是在IOPS和磁盘吞吐的表现上。QingCloud
    SAS盘的随机读IOPS可以达到8.5万、SSD可以达到10万;SAS盘的写IOPS可以达到6900、SSD达到30000。另外在保存一些文件和日志时,看重的可能是吞吐性能。QingCloud提供SAS盘的吞吐性能可以达到128M/秒,SSD超过200M/秒。

    从整个QingCloud的架构去对抗企业的高并发业务访问时,计算资源可以做横向和纵向的扩展;网络资源也可以Scale-out扩张公网流量;存储方面也能够保证I/O的高性能要求。

    6.jpg

    第二个场景,多样化的数据管理。 针对物联网企业多样化的数据类型,QingCloud提供了多种企业级数据存储介质和数据存储服务供用户选择,让合适的数据放在合适的介质上。

    以车联网为例,车联网采集用户的访问日志、诊断日志和轨迹日志,以及给客户推送的业务数据。根据数据类型和文件大小的不同,选择放到合适的介质上。对采集上来的一些地理信息日志或者轨迹日志,可以放在MongoDB上,MongoDB非常适合存储半结构化数据。同时可以把用户的个人信息、业务数据存放在关系型数据库上。以前传统IDC中大家用的是共享存储,在解决企业业务时,它的性能往往依赖于共享网络带宽,所以会导致不同业务每次访问的性能数据不同,造成带宽和IOPS不稳定。

    7.jpg

    另外,物联网企业往往会遇到这样的情况:数据是从不同的终端采集而来。有些是从车上的APP采集来的,有些是通过广域网上传的,有些是通过网站服务器上传到后端系统里,在这种情况下,虽然有很多数据源,但这些数据杂乱无章,很难从中得到最终的价值。因为数据如果不分析的话,是没有太大意义的。通过QingCloud大数据平台对多种数据类型进行抽取、转换和加载,最后的结果保存到关系型数据库、对象存储等数据介质里面。QingCloud提供的数据库服务支持标准的分析接口,对接到一些BI工具或者BI系统以报表或者仪表盘的形式做最终的数据展现。

    除了刚刚说的性能存储、容量存储和对象存储之外,QingCloud还会提供很多的数据库服务。 像关系型数据库(MySQL、PostgreSQL)、半结构化数据库(MongoDB)和缓存服务(Redis、Memcached)。为什么要直接使用QingCloud提供的数据服务呢?因为自己搭建这些数据库的话,往往要投入非常大的工作量,后期做扩容和配置更改都会涉及到很多人工操作的问题。QingCloud提供的关系型数据库都是主从节点的模式,这样的服务天然就是高可用的架构,不需要自己部署热备的节点。同样,QingCloud关系型数据库、非关系型数据库和缓存服务都可以支持在线扩充容量,并且根据自动伸缩设定的规则进行平滑扩容。

    8.jpg

    第三个场景,物联网行业的数据要求实时的采集和处理。 因为在数据采集的过程中做实时分析,对于企业后续的业务可以产生更高的附加价值。举个列子,有个车联网的客户,他们采集的轨迹数据通过JSON格式上传到QingCloud提供的Kafka消息队列里,再导入到Spark大数据平台做数据分析,最后以仪表盘的方式实时地展现在用户的APP或车载终端上。

    Spark大数据平台与Hadoop和Storm有一些区别,Hadoop更适合离线文件的分析,Spark既可以做海量离线小文件的分析,也可以做在线小文件的分析,因此Spark平台对于物联网用户来说是非常适合的平台。通过集成Spark
    Streaming等组件,可以把消息队列、Kafka里的信息直接导入到Spark平台上,通过Spark做快速的预算和分析。在使用QingCloud平台时,企业不需要自己再去搭建Spark集群,可以节省大量资源投入到业务和应用中,而不需要担心整个平台是否可靠、性能是否足够。(相关技术文章

    9.jpg

    第四个场景,如何基于QingCloud搭建一个多地域安全可靠的业务环境。 物联网企业的终端数据和运行一般会分布在不同的省份和区域。首先可以均衡不同地域的请求和负载;其次,一个地域的站点宕机之后,另外一个站点还可以继续保证业务的正常运行。

    在QingCloud上可以轻松地搭载这样高可用、双活或者多活的系统 。首先,QingCloud所有的网络服务都是基于SDN来做,当企业在不同区之间创建二层和三层网络后,可以以隧道(IPSec或GRE)方式来做公网打通;如果企业有自己的机房,也可以把QingCloud的虚拟路由器与机房的物理服务器做隧道打通,同一个网段下的数据可以做同步;当发生一些恶劣的情况,比如整个机房掉电或者整个机房崩塌,导致主节点宕机时,可以通过智能DNS解析,把业务重新加载到灾备站点。

    10.jpg

    总的来说,QingCloud有以下几个优势:一是快。 快体现在资源的创建速度上,帮助企业在使用自动伸缩功能、创建主机时以非常快的速度交付资源,并且使资源可用。其次是性能高 ,QingCloud存储的IOPS和吞吐都能以非常高的性能帮企业去解决重I/O、重负载的高性能应用。最后QingCloud是一个非常开放的平台 ,所有的API都是开放的。


登录后回复
 

与 青云QingCloud 社区 的连接断开,我们正在尝试重连,请耐心等待