Spark 服务上线



  • Spark 是继 Hadoop 之后新一代的大数据分布式处理平台。它是一个基于内存、容错型的分布式计算引擎,与 Hadoop MapReduce 相比,计算速度要快100倍。 Spark 卓越的用户体验以及统一的技术堆栈基本上解决了大数据领域所有的核心问题,使得 Spark 迅速成为当前最为热门的大数据基础平台。

    除此之外,青云 QingCloud 提供的 Spark 还包括在线伸缩、监控和告警等功能,帮助您更好地管理集群。更多详情请参看“Spark 服务指南”。

    集成 HDFS

    青云 QingCloud 既提供纯计算引擎的 Spark 集群,也提供和 Hadoop HDFS 集成的 Spark 集群。在创建 Spark 时可以选择是否集成 Hadoop HDFS。


    在线伸缩

    青云的 Spark 集群支持横向与纵向的在线伸缩, 而且横向伸缩时,用户的业务连续性不会中断。

    实时监控

    青云提供了 Spark 节点的主机的监控信息,服务、应用级别的监控由 Spark、Hadoop 提供。

    hadoop_monitor对主机的监控包括如下监控项:

    • CPU
    • 内存
    • 硬盘使用率
    • 硬盘 IOPS
    • 硬盘吞吐量
    • 监控告警

    Spark 的监控告警策略会监控 Spark 节点,包括如下监控项:

    • CPU:CPU 使用百分比
    • 内存:内存使用百分比
    • 硬盘:硬盘使用百分比

    测试

    Spark 创建完成之后可以测试其可用性。具体测试方法请参看“文档”。


登录后回复
 

与 青云QingCloud 社区 的连接断开,我们正在尝试重连,请耐心等待