大家好，今天小编关注到一个比较有意思的话题，就是关于学习hadoop需要linux的问题，于是小编就整理了5个相关介绍学习hadoop需要linux的解答，让我们一起看看吧。
- hadoop集群部署可以mac和linux吗？
- 在linux系统上怎么搭建hadoop开发环境？
- 怎么在windows上搭建hadoop环境？
- 各位大神！在centos虚拟机linux下怎样给普通用户权限进行hadoop环境设置？
- 学习大数据都需要掌握什么技术，本人只听过hadoop？
hadoop集群部署可以mac和linux吗？
Hadoop集群可以在Mac和Linux系统上部署。Hadoop是一个跨平台软件，可以在不同的操作系统上运行。不过，对于Mac OS X系统的部署需要进行一些额外的配置和安装工作，如安装J***a开发工具包和Hadoop框架。
在Linux系统上，通常通过包管理器来安装Hadoop，安装过程相对简单。
完全可以，我所在的实验室很多同学就用mac开发，mac OS也是Unix操作系统家族的一元，当然可以的。windows下安装CyWin也可以进行Hadoop开发，详细的配置过程，有很多帖子，很方便找到。
在linux系统上怎么搭建hadoop开发环境？
A、基础环境
1.jdk安装与配置
2.host
3.ssh
4.文件目录 B、 Hadoop安装与配置 1.下载hadoop软件 2.环境变量 3.hadoop配置 C、运行Hadoop 1.运行hdfs 2.运行yarn D、测试hadoop ，这是搭建集群的大题路径，详细的可以去看一下八斗学院的***，第一部分是讲集群搭建的很详细
怎么在windows上搭建hadoop环境？
在Eclipse的Windows->Preferences中，选择HadoopMap/Reduce,设置好Hadoop的安装目录，这里，我直接从linux的/home/hadoop/hadoop-1.0.3拷贝过来的，点击OK按钮！
各位大神！在centos虚拟机linux下怎样给普通用户权限进行hadoop环境设置？
修改 /etc/sudoers 文件找到"root ALL=(ALL) ALL"在下面添加"xxx ALL=(ALL) ALL"(这里的xxx是你的用户名)，然后保存，普通用户就可以使用 sudo + “你需要执行的命令” 来获得root权限操作
学习大数据都需要掌握什么技术，本人只听过hadoop？
大数据的技能要求
此处我们来说说入门学习需要掌握的基本技能：
根据网友提问，对大数据入门初学者最关系的问题加米谷大数据进行了整理，关于大数据学的前景、学习情况、学习路径等都做了解答，全文请看：《加米谷大数据整理：0基础大数据初学者最关心的7个问题》***://blog.sina***.cn/s/blog_17c01ad2f0102xsqf.html
1、J***a
2、Linux命令
3、HDFS
4、MapReduce
5、 Hadoop
6、Hive
7、ZooKeeper
8、HBase
9、Redis
10、Flume
11、SSM
12、Kafka
13、Scala
14、Spark
15、MongoDB
16、Python与数据分析
大数据技术其实也有很多方向
1.etl方向，主要做数据转换，清冼等，需要掌握的技术etl,如 kettle,informatica,sqoop,datax等等
2.大数据运维方向，需要掌握linux,hadoop,hive,hbase,es等组件的安装运维调优
3.后台开发方向，需要J***A,PYTHON,熟悉各种大数据组件API
4.前端方向，数据可视化方向，如tableau,quickview,biee,js,vue.js等等
首先得搭建一个完全分布式集群，可以用vmware虚拟机。入门的话，首先得了解hadoop生态，数据存储hdfs，第一代计算框架mapreduce，***调度yarn，分布式协调服务zookeeper，***工具Common，分布式数据库hbase，数据仓库hive这些必不可少。
然后就是第二代计算框架spark，这里又包含了spark生态圈，数据挖掘spark mlib，数据分析sparkR，数据查询spark sql，实时计算spark straming。这些搞定之后，你就可以成为一个合格的大数据工程师了[呲牙]
我们都知道现在学习大数据，Hadoop是其中一个必学的技术，简单来说，Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法。那Hadoop该学习哪些内容？需要了解什么呢？有Hadoop经典学习资料吗？
HDFS
HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，适合那些有着超大数据集（large data set）的应用程序。
MapReduce
通俗说MapReduce是一套从海量源数据提取分析元素末后返回结果集的编程模型，将文件分布式存储到硬盘是第一步，而从海量数据中提取分析我们需要的内容就是MapReduce做的事了。
MapReduce的基本原理就是：将大的数据分析分成小块逐个分析，然后再将提取出来的数据汇总分析，从而获得我们想要的内容。当然怎么分块分析，怎么做Reduce操作非常复杂，Hadoop已经提供了数据分析的实现，我们只需要编写简单的需求命令即可达成我们想要的数据。
关于Hadoop的使用方式：
感觉现在各个公司使用Hadoop的方式都不一样，主要我觉得有两种吧。
第一种是long running cluster形式，比如Yahoo，不要小看这个好像已经没什么存在感的公司，Yahoo可是Hadoop的元老之一。这种就是建立一个Data Center，然后有几个上千Node的Hadoop Cluster一直在运行。比较早期进入Big Data领域的公司一般都在使用或者使用过这种方式。
另一种是只使用MapReduce类型。毕竟现在是Cloud时代，比如AWS的Elastic MapReduce。这种是把数据存在别的更便宜的地方，比如s3，自己的data center， sql database等等，需要分析数据的时候开启一个Hadoop Cluster，Hive/Pig/Spark/Presto/J***a分析完了就关掉。不用自己做Admin的工作，方便简洁。
所以个人如果要学Hadoop的话我也建议第二种，AWS有免费试用时间（但是EMR并不免费，所以不要建了几千个Node一个月后发现破产了），可以在这上面学习。更重要的是你可以尝试各种不同的配置对于任务的影响，比如不同的版本，不同的container size，memory大小等等，这对于学习Spark非常有帮助。
总的来说Hadoop适合应用于大数据存储和大数据分析的应用，适合于服务器几千台到几万台的集群运行，支持PB级的存储容量。Hadoop典型应用有：搜索、日志处理、推荐系统、数据分析、***图像分析、数据保存等。
大数据产业已进入发展的“快车道”，急需大量优秀的大数据人才作为后盾。能够在大数据行业崛起的初期进入到这个行业当中来，才有机会成为时代的弄潮儿。千锋大数据开发新进企业级服务器实战教学，20周带你一站式搞定匪夷所思的大数据开发技术。
到此，以上就是小编对于学习hadoop需要linux的问题就介绍到这了，希望介绍关于学习hadoop需要linux的5点解答对大家有用。