您好,请登录或注册会员中心

数据挖掘


鑫鼎娱乐大数据平台采用如下技术搭建:


数据采集

采用flume+kafka为核心技术支撑,提供文件、表、消息等适配接口,扩展了kettle、sqoop等ETL工具,确保各类数据的完美接入。


数据存储

采用基于Hadoop分布式文件系统HDFS、Hive和Hbase,支持文件,表、行和列级存储。

数据计算采用多计算框架并行,提供MR、Impala、spark、storm等主流计算框架,让开发者可以轻松选择适宜,熟悉的计算框架使用。


数据访问

采用了企业数据总线理念,屏蔽了复杂的数据分析和数据封装过程,提供了丰富的接口服务,使用者可以轻易的获取,直接使用的想要的数据。

大数据平台基于多租户技术,对外提供独立、安全的存储、计算能力,让前期没有建设数据中心的企业用户可以安全、方便的使用大数据平台提供的能力。



1471569115114283.png








>