认识达内从这里开始

现在很多人都明白大数据非常火，但是如果要自学大数据需要学一些什么内容呢，昆明达内培训小编今天就为大家大概介绍一下。 其实这就是想告诉你的大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易，哪个前景好，哪个钱多。

先说一下大数据平台搭建/优化/运维/监控的4个特征：

1、数据量大，TB->PB

2、数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等;

3、 商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来;

4、 处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，再列举一些常见的：

文件存储：Hadoop HDFS、Tachyon、KFS

离线计算：Hadoop MapReduce、Spark

流式、实时计算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL数据库：HBase、Redis、MongoDB

资源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ

查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式协调服务：Zookeeper

集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager

数据挖掘、机器学习：Mahout、Spark MLLib

数据同步：Sqoop

任务调度：Oozie

眼花了吧，上面的有30多种吧，别说精通了，全部都会使用的，估计也没几个。

这里昆明达内培训小编比较推荐第二个方向(开发/设计/架构)，因为这个方向容易找工作，下面给大家具体讲解一下。

1、从事第二个方向的话首先要学会百度与Google，遇到问题先试一试搜索并自己解决

2、参考资料首推官方资料，特别是对于入门来说，官方文档永远是首选文档。

3、掌握Hadoop。Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

4、了解它们的原理：MapReduce：如何分而治之; HDFS：数据到底在哪里，什么是副本; Yarn到底是什么，它能干什么; NameNode到底在干些什么; ResourceManager到底在干些什么;

5、 自己写一个MapReduce程序 仿照WordCount例子，自己写一个(照抄也行)WordCount程序，打包并提交到Hadoop运行。

6 、Hive是怎么工作的 学会Hive的基本命令

从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

那么问题来了，海量数据如何到HDFS上呢?

1、把别处的数据搞到Hadoop上，此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

2、把Hadoop上的数据搞到别处去

你应该已经具备以下技能和知识点：

知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集;

你已经知道sqoop(或者还有DataX)是HDFS和其他数据源之间的数据交换工具;

你已经知道flume可以用作实时的日志采集。

从前面的学习，对于大数据平台，你已经掌握的不少的知识和技能，搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。想要在获取更多的知识内容，敬请关注昆明达内培训网站。