Hadoop怎样安装

时间:2025-01-05 05:25:53

1、Hadoop安装1)集群规划

Hadoop怎样安装

2、项目经验之HDFS存储多目录1)确认HDFS的存储目录,保证存储在空间最大硬盘上

Hadoop怎样安装

3、2)在hdfs-site.xml文件中配置多目录,最好提前配置好,否则更改目录需要重新启动集群

Hadoop怎样安装

4、项目经验之支持LZO压缩配置1)先下载lzo的jar项目

5、2)下载后的文件名是hadoop-lzo-master,它是一个zip格式的压缩包,先进行解压,然后用maven编译。生成hadoop-lzo-0.4.20.jar。

6、3)将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/

Hadoop怎样安装

7、4)同步hadoop-lzo-0.4.20.jar到hadoop103、hadoop104

Hadoop怎样安装

8、5)core-site.xml增加配置支持LZO压缩

Hadoop怎样安装

9、5)同步core-site.xml到hadoop103、hadoop104

Hadoop怎样安装

10、6)启动及查看集群

Hadoop怎样安装

11、(1)web和进程查看Web查看进程查看:jps查看各个节点状态。

12、(2)当启动发生错误的时候: 查看日志:/home/atguigu/module/hadoop-2.7.2/logs 如果进入安全模式,可以通过hdfs dfsadmin -safemode leave 停止所有进程,删除data和log文件夹,然后hdfs namenode -format 来格式化

© 手抄报圈