您当前的位置:首页 > 互联网百科 > 大数据

大数据之Hadoop搭建与使用

时间:2022-02-08 11:03:49  来源:  作者:科苑大数据

一、搭建

1、准备插件

yum install -y epel-release
 yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

2、关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

3、创建用户

useradd bigdata
passwd bigdata

4、配置用户权限

vim /etc/sudoers
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
bigdata   ALL=(ALL)     NOPASSWD:ALL

5、在/opt目录下创建文件夹,并修改所属主和所属组

mkdir /opt/module
mkdir /opt/software
chown bigdata:bigdata /opt/module 
chown bigdata:bigdata /opt/software

6、卸载虚拟机自带的open JDK

rpm -qa | grep -i JAVA | xargs -n1 rpm -e --nodeps

7、修改克隆虚拟机的静态IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33
改成
DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.1.102
PREFIX=24
GATEWAY=192.168.1.2
DNS1=192.168.1.2

8、查看linux虚拟机的虚拟网络编辑器,编辑->虚拟网络编辑器->VMnet8

 

大数据之Hadoop搭建与使用

 

9、修改克隆机主机名

 hostnamectl --static set-hostname bigdata
vim /etc/hostname
bigdata

10、配置linux克隆机主机名称映射hosts文件,打开/etc/hosts

vim /etc/hosts
192.168.1.102 bigdata

11、如果操作系统是window10,先拷贝出来,修改保存以后,再覆盖即可

(a)进入C:windowsSystem32driversetc路径

(b)拷贝hosts文件到桌面

(c)打开桌面hosts文件并添加如下内容

192.168.1.102 bigdata

12、安装jdk

1、在Linux系统下的opt目录中查看软件包是否导入成功

ls /opt/software/
hadoop-3.1.3.tar.gz  jdk-8u212-linux-x64.tar.gz

2、解压

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

3、配置JDK环境变量

vim /etc/profile.d/my_env.sh
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

4、加载环境变量

source /etc/profile

5、测试JDK是否安装成功

java -version

13、安装hadoop

1、解压

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
ls /opt/module/
hadoop-3.1.3

2、配置环境

 vim /etc/profile.d/my_env.sh
 #HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profile

3、测试是否安装成功

hadoop version
Hadoop 3.1.3

14、本地模式

1、创建在hadoop-3.1.3文件下面创建一个wcinput文件夹

mkdir wcinput

2、在wcinput文件下创建一个word.txt文件

cd wcinput
vim word.txt
hadoop yarn
hadoop mapreduce

3、回到Hadoop目录/opt/module/hadoop-3.1.3

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

4、验证结果

cat wcoutput/part-r-00000
hadoop  2
mapreduce       1
yarn    1

15、完全分布式运行模式

1、分发jdk和hadoop到bigdata1和bigdata2

scp -r /opt/module/jdk1.8.0_212  bigdata@bigdata1:/opt/module
scp -r /opt/module/hadoop-3.1.3  bigdata@bigdata1:/opt/module

2、xsync集群分发脚本

cd /home/bigdata
mkdir bin
cd bin
vim xsync
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in bigdata bigdata1 bigdata2
do
  echo ====================  $host  ====================
  #3. 遍历所有目录,挨个发送
  for file in $@
  do
    #4. 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done
chmod +x xsync
cp xsync /bin/
xsync /home/bigdata/bin

3、无密登陆

ssh-keygen -t rsa
一直下一步
将公钥拷贝到要免密登录的目标机器上
ssh-copy-id bigdata
ssh-copy-id bigdata1
ssh-copy-id bigdata2

4、配置集群

1、配置core-site.xml

cd $HADOOP_HOME/etc/hadoop
vim core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata:9820</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>bigdata</value>
</property>

<!-- 配置该bigdata(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.bigdata.hosts</name>
        <value>*</value>
</property>
<!-- 配置该bigdata(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.bigdata.groups</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.bigdata.groups</name>
        <value>*</value>
</property>

</configuration>

2、配置hdfs-site.xml

vim hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>bigdata:9870</value>
    </property>
    <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata1:9868</value>
    </property>
</configuration>

3、配置yarn-site.xml

vim yarn-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata2</value>
</property>
<!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
</property>
<!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
</property>
<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

4、配置mapred-site.xml

vim mapred-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5、在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5、群起集群

1、配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
bigdata
bigdata1
bigdata2

2、格式化hadoop

hdfs namenode -format

3、启动hdfs

sbin/start-dfs.sh

4、启动yarn

sbin/start-yarn.sh

5、浏览器验证

#hdfs
http://bigdata:9870
#yarn
http://bigdata1:8088

6、错误总结

1、hdfs启动失败

在/hadoop/sbin路径下:
将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

2、yarn启动失败

在/hadoop/sbin路径下:
还有,start-yarn.sh,stop-yarn.sh顶部也需添加以下:
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

7、集群测试

1、上传

#小文件
hadoop fs -mkdir /input
hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
#大文件
hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /
#验证
pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0
cat blk_1073741825
hadoop yarn
hadoop mapreduce 
#拼接
cat blk_1073741836>>tmp.tar.gz
cat blk_1073741837>>tmp.tar.gz
tar -zxvf tmp.tar.gz

2、下载

hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

3、执行wordcount程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

8、配置历史服务器

为了查看程序的历史运行情况,需要配置一下历史服务器

1、配置mapred-site.xml

vim mapred-site.xml
<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>bigdata:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webApp.address</name>
    <value>bigdata:19888</value>
</property>

2、分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3、启动历史服务器

mapred --daemon start historyserver

4、验证

http://bigdata:19888/jobhistory

9、配置日志聚集

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。

注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryServer。

1、配置yarn-site.xml

vim yarn-site.xml
<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://bigdata:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2、分发配置

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3、关闭NodeManager、ResourceManager和HistoryServer

stop-yarn.sh
mapred --daemon stop historyserver

4、启动NodeManager、ResourceManage和HistoryServer

start-yarn.sh
mapred --daemon start historyserver

5、删除HDFS上已经存在的输出文件

hadoop fs -rm -r /output

6、执行WordCount程序

hadoop jar  $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7、查看日志

http://bigdata:19888/jobhistory

10、集群脚本编写

1、查看java进程脚本

cd /home/bigdata/bin
vim jpsall
#!/bin/bash
for host in bigdata bigdata bigdata
do
        echo =============== $host ===============
        ssh $host jps $@ | grep -v Jps
done
chmod +x jpsall

2、hadoop进程脚本

 vim myhadoop.sh
#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh bigdata "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh bigdata1 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh bigdata "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh bigdata "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh bigdata1 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh bigdata "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac
chmod +x myhadoop.sh
xsync /home/atguigu/bin/


Tags:Hadoop   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
一、搭建1、准备插件yum install -y epel-release yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git2、关闭防火墙systemct...【详细内容】
2022-02-08  Tags: Hadoop  点击:(6)  评论:(0)  加入收藏
查看当前目录信息 hadoop fs -ls /上传文件 hadoop fs -put /本地路径 /hdfs路径剪切文件 hadoop fs -moveFromLocal a.txt /aa.txt下载文件到本地 hadoop fs -get /hdfs路...【详细内容】
2021-07-04  Tags: Hadoop  点击:(95)  评论:(0)  加入收藏
一、SMP数据库架构SMP(对称多处理器结构,Symmetric Multi-Processor)数据库架构部署成本相对较低,可以运行从大型服务器到中型商用硬件的各种设备。它在提供合理的性能和吞吐量...【详细内容】
2020-12-01  Tags: Hadoop  点击:(590)  评论:(0)  加入收藏
一、MapReduce概述1、基本概念Hadoop核心组件之一:分布式计算的方案MapReduce,是一种编程模型,用于大规模数据集的并行运算,其中Map(映射)和Reduce(归约)。MapReduce既是一个编程模...【详细内容】
2020-11-23  Tags: Hadoop  点击:(142)  评论:(0)  加入收藏
将 MySQL 的数据导入到 HDFS 中/usr/local/service/sqoop/bin/sqoop-import \--connect jdbc:mysql://$mysqlIP/test \--username root \-P --table sqoop_test \-m 4 \--...【详细内容】
2020-10-21  Tags: Hadoop  点击:(167)  评论:(0)  加入收藏
一、存储机制1、基础描述NameNode运行时元数据需要存放在内存中,同时在磁盘中备份元数据的fsImage,当元数据有更新或者添加元数据时,修改内存中的元数据会把操作记录追加到edit...【详细内容】
2020-10-12  Tags: Hadoop  点击:(72)  评论:(0)  加入收藏
本章大纲4.1 HDFS写数据流程4.1.1 剖析文件写入HDFS写数据流程,如图所示。HDFS写数据流程1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文...【详细内容】
2020-06-26  Tags: Hadoop  点击:(84)  评论:(0)  加入收藏
> Photo by Mr Cup / Fabien Barral on Unsplash 随着技术的快速变化,越来越多的数据一直在生成。据最新的全球数据领域估计,到2025年,全世界产生的数据量将增长到175 ZB。公...【详细内容】
2020-05-21  Tags: Hadoop  点击:(129)  评论:(0)  加入收藏
几周前,我写了一篇有关Hadoop的文章,并谈到了它的不同部分。 以及它如何在数据工程中扮演重要角色。 在本文中,我将总结Hadoop中不同的文件格式。 本主题将是一个简短而快速...【详细内容】
2020-04-27  Tags: Hadoop  点击:(84)  评论:(0)  加入收藏
本文的目的是讨论Hadoop 3.0的优缺点。随着Hadoop 3.0中引入了许多更改,它已成为更好的产品。Hadoop 3的主要优缺点Hadoop旨在存储和管理大量数据。Hadoop有许多优点,例如,它是...【详细内容】
2019-12-20  Tags: Hadoop  点击:(99)  评论:(0)  加入收藏
▌简易百科推荐
一、搭建1、准备插件yum install -y epel-release yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git2、关闭防火墙systemct...【详细内容】
2022-02-08  科苑大数据    Tags:Hadoop   点击:(6)  评论:(0)  加入收藏
在日常生活中,数据无处不在,但并不是所有的数据都可以成为资产。只有可控制、可测量和可货币化的数据才能成为资产。因此,数据资产(Data Asset)通常具有以下特征:虚拟性、可共享性...【详细内容】
2022-02-05  Marteker    Tags:数据资产   点击:(9)  评论:(0)  加入收藏
一、搭建1、解压tar -zxf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume2、删除不兼容包rm /opt...【详细内容】
2022-01-29  科苑大数据    Tags:大数据   点击:(9)  评论:(0)  加入收藏
我们每天都要和手机、电脑、Siri、小艺同学发生千百次的交互,你的每一个点赞,每一次滑动,每一笔消费,每一次刷抖音微博快手,都会被准确无误地记录着。但是,在我们尽情享受互联网...【详细内容】
2022-01-21  上下前    Tags:大数据   点击:(14)  评论:(0)  加入收藏
知乎业务中,随着各业务线业务的发展,逐渐对用户画像和实时数据这两部分的诉求越来越多。对用户画像方面,期望有更快、更准、更方便的人群筛选工具和方便的用户群体分析能力。对...【详细内容】
2022-01-19  大数据推荐杂谈    Tags:数据架构   点击:(15)  评论:(0)  加入收藏
文|小代每次疫情发生时,当地的病例人数公布后,大家最紧张等待的便是他的活动轨迹。流调是漫长又辛苦的工作,但时间不等人,需要快速调查清楚病例的活动轨迹,以防止疫情的大规模扩...【详细内容】
2022-01-17  代码工场聊开发    Tags:流调   点击:(40)  评论:(0)  加入收藏
小伙们经常听到这样一句话:“数据分析师一定要懂业务!”那到底啥玩意才是业务?懂多少才算懂业务?今天跟大家分享一下。一、什么是业务?业务是相对于技术和行政来说的,是企业里一种...【详细内容】
2022-01-07  数据分析不是个事儿    Tags:数据分析   点击:(17)  评论:(0)  加入收藏
今天来讲讲数据大屏自适应如何实现。 我们知道,根据不同的业务场景,做一个好的大屏需要考虑大屏布局、图表展现、交互动效、操作是否简单、是否能自适应等等因素。其中大屏是...【详细内容】
2022-01-07  思迈特软件Smartbi    Tags:数据可视化   点击:(18)  评论:(0)  加入收藏
数据是时代发展与科技进步的产物,也是当下时代最重要的生产要素之一。要让数据进入市场实现经济效益,需要明确界定所有、支配、使用、收益、处置等产权权能的完整技术和规则要...【详细内容】
2021-12-31  CyborgGoody    Tags:GoodData   点击:(10)  评论:(0)  加入收藏
作者:俊欣来源:关于数据分析与可视化大家好,又是新的一周,也是2021年的最后一周,今天小编来和大家说一说怎么从DataFrame数据集中筛选符合指定条件的数据,希望会对读者朋友有所帮...【详细内容】
2021-12-30  CDA数据分析师    Tags:Pandas   点击:(20)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条