青云QingCloud Storm 服务上线,集群部署从未如此简单



  • Storm 是一个开源的分布式实时计算系统,通常被比作“实时的 Hadoop ”,为实时计算提供了一些简单优美的原语,支持多种编程语言,并内建流式窗口 API 及分布式缓存 API,极大简化了流式数据处理过程。Storm 不仅高可靠、易扩展,而且处理速度极快,每个计算节点每秒能处理上百万条元组信息(Tuple),因此常被用于实时分析、在线机器学习、流计算、分布式 RPC、ETL 等。

    目前,青云QingCloud Storm 服务作为大数据基础平台的重要组件现已正式上线。用户能够在 2-3 分钟内创建一个 Storm 集群。除此之外,青云QingCloud 提供的 Storm 集群服务还包括在线伸缩、监控和告警等功能,帮助您更好地管理集群。

    系统部署架构

    Storm 集群架构

    Storm 将实时计算逻辑包装成计算拓扑(Topology)。它类似 Hadoop 中的 Job,是一组由 Spouts 和 Bolts 通过 Stream Grouping 连接而成的图形结构,被部署到 Storm 集群中持续运行,Storm 集群采用的是 Master/Slave 架构。

    如上图所示,青云的 Storm 集群包括如下五种节点类型:

    • 主节点 :运行了 Nimbus、DRPC、UI 和 Logviewer 服务,负责接收客户端提交的计算拓扑,并协调分派计算任务。

    • 从节点 :运行了 Supervisor 和 Logviewer 服务。其中,Supervisor 服务主要用于接收计算任务并按需启动或停止工作进程(Worker),而 Logviewer 服务方便用户查看运行日志。

    • RPC 节点 :运行了 DRPC 和 Logviewer 服务,用于接收 RPC 请求,并将计算拓扑的处理结果返回给客户端。

    • 客户端节点 :安装了 Python、JRE/JDK 和 Storm 软件,用于提交计算拓扑。

    • Zookeeper 集群 :用于协调 Storm 集群。

    创建 Storm 集群从未如此简单

    2到3分钟创建一个 Storm 集群

    通常包括 Storm 在内的大数据平台的运维是非常繁琐的,在青云上,您可以在 2 到 3 分钟创建一个 Storm 集群。

    集群支持横向与纵向在线伸缩,还提供了监控告警等功能,使得管理集群异常方便;集群将运行于 100% 二层隔离的私有网络内,结合青云提供的高性能硬盘,在保障高性能的同时兼顾您的数据安全。

    第一步:选择基本配置

    在创建的对话框中,您需要选择 Storm 版本号、类型、名称、关联的配置组,然后点击下一步。

    第二步:配置主节点

    输入主节点的数量,并选择主节点配置、容量,以定义 Master 集群的规模和性能 。

    PS:主节点上运行了 Nimbus、DRPC、UI 等服务,建议在生产环境中使用至少 2 个主节点,以实现主节点集群的 HA。主机配置1核 2G 仅供测试使用,生产环境建议至少使用 2 核 4G。节点数量和主机配置,在创建之后可以在线伸缩。

    第三步:配置从节点

    输入从节点的数量,并选择从节点配置、容量,以定义 Slave 集群的规模和性能。

    PS:主节点上运行了 Supervisor 服务并运行 Worker 进程,请在生产环境使用至少 2 个主节点,以实现从节点集群的 HA。从节点作为工作节点,通常需要更高的配置。

    第四步:配置 RPC 节点

    输入 RPC 节点的数量,并选择 RPC 节点配置、容量,以定义 RPC 集群的规模和性能。

    PS:主节点已经启用了 DRPC 服务,因此低负载时 DRPC 节点不是必须的;如果您需要高负载 RPC 服务,可以添加额外的 RPC 节点。

    第五步:配置 Zookeeper 和网络

    选择 Storm 集群所依赖的 Zookeeper 服务,集群将创建于 ZooKeeper 所在的私有网络中,创建后可以切换到其他私有网络,但需要保证新的私有网络内仍能连接到 Zookeeper。您可以让 DHCP 服务自动分配 Storm 集群各节点的私有网络 IP,也可以手动指定。

    第六步: 创建完成

    当 Storm 创建完成之后,您可以查看每个节点的运行状态。如图所示,当节点显示为“活跃”状态,表示该节点启动正常。当每个节点都启动正常后 Storm 集群显示为“活跃”状态,表示您已经可以正常使用 Storm 服务了。

    PS:为了保障数据安全, Storm 集群需要运行在受管私有网络中。所以在创建一个 Storm 集群之前,至少需要一个路由器(或 VPC 网络)和一个受管私有网络,受管私有网络需要和路由器(或 VPC 网络)连接,并开启 DHCP 服务(默认开启)。


    【预告】7 月 28 日,QingCloud Insight 2016 将邀请 50 多位行业专家分享云计算、大数据、机器学习、容器、DevOps、安全等领域的前沿话题,打造一场业界交流、开发者学习、创业创新项目展示的顶级云计算盛会。

    名额有限,报名请扫码下方二维码。


登录后回复
 

与 青云QingCloud 社区 的连接断开,我们正在尝试重连,请耐心等待