青云QingCloud推出Hadoop集群服务 进一步完善大数据平台

业界资讯 来源:青云QingCloud 发布:2015-12-22 浏览:617

摘要:Hadoop是一个针对海量数据进行存储和处理的分布式开源平台,在大数据领域的应用极为广泛。

Hadoop是一个针对海量数据进行存储和处理的分布式开源平台,在大数据领域的应用极为广泛。它使用简洁的MapReduce编程模型分布式处理跨集群的大型数据集,集群规模可以扩展到几千甚至上万。相比于依赖昂贵的硬件来实现高可用性,Hadoop是在假设每台机器都会出错的情况下,从软件层面来实现错误的检测和处理。


青云QingCloud Hadoop集群创建页面

青云QingCloud基于Hadoop的大数据集群服务现已正式推出。该服务包括三大核心组件,即HDFS分布式文件系统、YARN任务调度和集群资源管理系统,以及MapReduce并行分析计算系统。通过QingCloud Hadoop集群服务,用户能够在2-3分钟内创建一个Hadoop集群,并且可以进行横向和纵向的在线伸缩,极大地降低了Hadoop平台的技术门槛。


青云QingCloud Hadoop集群架构图

QingCloud Hadoop集群服务采用Master/Slave架构,由三种节点类型构成,即主节点(YARN Resource Manager和HDFS Name Node)、从节点(YARN Node Manager和HDFS Data Node),以及客户端节点(Hadoop Client Node)。用户在客户端节点发起MapReduce任务,通过与HDFS和YARN集群中各节点的交互存取文件、执行MapReduce任务,最终获取结果。

早在2015年8月,青云QingCloud就已推出基于Spark的大数据集群服务,此次Hadoop集群服务的上线是对QingCloud大数据基础平台的有力补充。Hadoop和Spark各有千秋,Hadoop适用于更大规模的离线数据处理,且对系统故障具备天然的抵抗力;Spark更适合做快速的实时数据分析。因此,用户可以根据应用场景的不同,选择不同的大数据解决方案。

具体而言,青云QingCloud Hadoop集群服务具有以下特性:

  1. 一键部署:用户只需要简单地几步操作就能够在2-3分钟内创建出一个Hadoop集群,帮助用户降低Hadoop的技术门槛和开发成本,快速地利用Hadoop展开数据分析工作。

  2. 简化运维:大数据平台尤其是Hadoop的运维非常繁琐,QingCloud为用户提供了便捷的运维工具和图形化操作,极大地简化了Hadoop集群的运维和管理工作。

  3. 在线伸缩:Hadoop集群服务支持横向和纵向在线伸缩,以满足用户对计算能力和容量的需求。用户可以选择新增或者删除节点进行横向伸缩,也可以根据节点的监测数据随时调整各个节点的配置。

  4. 监控告警:QingCloud针对HDFS、YARN和MapReduce提供了丰富的监控信息,还为每个节点资源提供了监控告警服务,包括CPU使用率、内存使用率、硬盘使用率等,以帮助用户更好地管理和维护Hadoop集群。

  5. 安全性:Hadoop集群运行于100%二层隔离的私有网络内,结合QingCloud提供的高性能硬盘,在保障高性能的同时兼顾用户的数据安全。

Hadoop集群服务的推出标志着QingCloud大数据基础平台的进一步完善,结合已经推出的Spark、ZooKeeper、消息队列(Kafka)、Redis、Memcached、MongoDB等服务,QingCloud的大数据平台服务已经能够越来越灵活地满足用户的各种需求,实现用户数据价值的最大化。

原    文:青云QingCloud

免责声明:

  1. SDK.cn遵循行业规范,所有转载文章均征得作者同意授权并明确标注来源和链接。
  2. 我们十分尊重原创作者的付出,本站禁止二次转载如需转载请与原作者取得联系。
  3. 转载SDK.cn的原创文章需注明文章作者、链接和"来源:SDK.cn"并保留文章及标题完整性未经作者同意不得擅自修改。
  4. 作者投稿可能会经SDK.cn适当编辑修改或补充。
推荐工具 意见反馈