合 常用的大数据技术有哪些
Tags: 大数据
常用的大数据技术有哪些?
一、大数据基础阶段:大数据基础阶段需掌握的技术有:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoopmapreduce hdfs yarn等。
二、大数据存储阶段:大数据存储阶段需掌握的技术有:hbase、hive、sqoop等。
三、大数据架构设计阶段:大数据架构设计阶段需掌握的技术有:Flume分布式、Zookeeper、Kafka等。
四、大数据实时计算阶段:大数据实时计算阶段需掌握的技术有:Mahout、Spark、storm。
五、大数据数据采集阶段:大数据数据采集阶段需掌握的技术有:Python、Scala。
六、大数据商业实战阶段:大数据商业实战阶段需掌握的技术有:实操企业大数据处理业务场景,分析需求、解决方案实施,综合技术实战应用。
哪些技术属于大数据的关键技术?
1.分布式存储系统(HDFS)。
2.MapReduce分布式计算框架。
3.YARN资源管理平台。
4.Sqoop数据迁移工具。