大数据必会组件

经常有同学问我，基于Hadoop生态圈的大数据组件有很多，怎么学的过来呢，毕竟精力有限，我们需要有侧重点，我觉得下面这几个组件至关重要，是基础组件，大部分人都需要会的，其它组件可以用的时候再去查查资料学习。hadoopHbaseHiveSparkFlinkKafkaHadoop是大数据的基础组件，很多组件都需要依赖它的分布式存储、计算；主要包括Hdfs、MR、Yarn三部分，这个需要找一些好的资料（我的主页有资料领取方法），好好学学各自的用法，熟练之后，需要了解其背后的原理。基本的，你得知道hadoop安装方法，cdh/hdp等等，启动后几个后台进程各自的作用，namenode高可用，以及高可用基于zk，namenode对元数据fs_image的保存，还有datanode，jobhistoryserver等。Hdfs：你需要知道文件的基本操作， ………………………………