Hadoop服务 HDS

HDS(Hadoop服务)是一个以华为FusionInsight HD为基础的分布式数据处理系统,为用户提供按需申请、一键发放的“大容量数据存储、分析查询和实时流式数据处理分析等”能力。

企业级

基于华为FusionInsight大数据企业级平台能力,历经行业数万节点部署量的考验,提供企业级调度实现不同作业之间的资源隔离,提供多级用户SLA保障

易运维

专门研发的企业级集群管理系统,可让用户更好的监控和管理大数据平台。并可通过告警的方式,提醒用户平台异常

高安全

经由华为专业的安全团队和德国PSA安全认证测试,提供高安全的大数据服务。基于Kerberos认证,实现了基于角色的安全控制以及完善的审计功能

快速高效

万亿数据离线分析,在线查询,实时计算。具备统计分析,数据挖掘,全文检索,流式计算分析等关键能力

应用场景

  • 离线分析

  • 实时流处理

  • 实时检索

离线分析

对海量数据进分析和处理,形成结果数据,供下一步数据应用使用

优势

  • 大规模

    大数据平台支持5000节点规模

  • 海量数据分析

    利用Hive、Spark等离线组件实现TB/PB级的数据分析

  • 可视化的导入导出工具

    通过可视化导入导出工具Loader,将数据导入大数据平台,或将数据导出到ADS或RDS,做进一步数据分析及展示。

高性能计算

实时流处理

毫秒级实时数据采集、接入、计算,形成数据结果供进一步数据应用使用

优势

  • 实时数据采集

    利用Flume实现实时数据采集,并提供丰富的采集和存储连接方式

  • 海量的数据源接入

    利用Kafka实现千万级别额数据的实时接入

  • 实时的数据流计算

    利用Flink/Spark Streaming/Storm实现毫秒级的流式数据计算

大数据

实时检索

对海量数据基于主键或索引实时查询,按索引查询效率达到秒级,按主键查询效率可达到毫秒级。

优势

  • 低时延查询

    毫秒级主键查询,秒级索引查询

  • 海量数据高并发

    利用Hbase、ES等实时检索组件实现TB/PB级的数据高并发查询

  • 丰富的数据种类

    能够同时支持结构化数据和非结构化数据

功能描述

按需申请

按照实际需要申请大数据资源

企业级的大数据发行版

安全、可靠、高效、高可用

兼容性

兼容开源生态,应用无缝

在线体验

  • 订购大数据服务

  • 访问FusionInsight HD

  • 监控资源使用

  • 将自己的数据授予其他用户访问

订购大数据服务

步骤

1、选择大数据使用场景。

2、配置资源和访问FI HD的用户。

3、提交订购申请。

4、管理员审批。

访问FusionInsight HD

步骤

1、下载客户端。

2、下载用户认证凭据。

3、安装FI客户端,使用用户认证凭据访问FI HD,进行业务操作。

4、使用FI客户端的Jdk开发程序,使用用户认证凭据访问FI HD,进行业务操作。

说明

① ECS与缓存实例处于相同VPC中;

② 除了Redis命令行界面,还可以通过各种语言的客户端访问缓存实例,如jedis、credis等。

监控资源使用

步骤

1、登录HDS服务。

2、查看HDS服务的实例控制台。

3、查看Yarn、HDFS资源使用情况。

说明

① ECS与缓存实例处于相同VPC中;

② 如果源Redis不在华为云上,数据需要先导出到用户本地PC,然后上传到ECS,并导入DCS缓存实例。

③ 如果源Redis在华为云上,数据可直接导出到ECS,再导入DCS缓存实例。

④ 如果源Redis在华为云上,但和DCS缓存实例不处于相同VPC中,则迁移方式与②类似。

将自己的数据授予其他用户访问

步骤

1、登录HDS服务。

2、查看HDS服务的实例控制台。

3、在服务实例控制台上,点击“授权”按钮,将自己的数据授予其他用户访问。

说明

① 实例重启、删除、修改密码等操作需谨慎;

② 配置参数修改后,建议对服务运行观察一段时间,确保有调优效果。

视频教程

安装部署FIMAS

查看更多>