文章目录

导学大数据概述初识Hadoop概述核心组件HDFS分布式文件系统资源调度系统YARNMapReduce优势发展史生态系统发行版本选择企业应用案例第3章 分布式文件系统HDFS设计分布式文件系统架构副本机制环境搭建Mac上的仿xshellCDH版-hadoopjdkssh免密登录解决ifconfig命令失效解决ssh报错hadoophdfs配置伪分布式1个节点启动hdfs停止hdfsHDFS 常用shell指令配置hadoop/bin环境变量指令帮助前提环境-启动hdfs本地上传文件到hdfsHDFS创建递归文件夹-p递归查看文件夹lsrHDFS文件下载到本地 -getHDFS删除文件，文件夹通过页面浏览128M的分块配置Mac本地host映射Java-API操作HDFS文件host映射开发环境Java-API解决角色不同，不可写解决由于hdfs安全模式无法操作HDFS-JavaAPI增删改查HDFS读写流程写数据读数据HDFS优缺点总结第4章 分布式资源调度YARN产生背景概述架构执行流程环境搭建提交作业mr到yarn总结第5章 分布式计算框架MapReduce概述WorldCount词频统计案例编程模型map和reduce执行流程架构1.x2.xJava写WordCountJAVA代码手动删除java自动删除MapReduce编程之CombinerMapReduce之PartitionerMapReduce配置history解决聚合没有打开 log无法查看第6章 Hadoop项目实战

导学

开发环境

学做镜像

生态圈

目录

实战

分析客户端登录日志

与spring结合使用

扩展及新技术

大数据概述

场景

足球预判分析人物特性

购物推荐

来源

4v特征

量大、种类多、价值密度低、速度快

技术

采集-存储-分析-可视化

技术架构挑战

量大，无法用结构化数据库，关系型数据库

经典数据库没有考虑数据多类别 比如json

实时性的技术挑战

网络架构、数据中心、运维挑战

其他挑战

数据隐私

如何对大数据存储和分析

谷歌可以支持pc机处理，成本低。但容错要处理特别好。只有技术论文，没有技术实现

hadoop技术实现

mr mr

bigtable hbase

gfs hdfs

学习

官网-英文-实战-社区活动-动手练习-持续

初识Hadoop

概述

名字源于孩子玩具hadoop

官网

/

开源、分布式存储+计算、可扩展

核心组件

HDFS分布式文件系统

扩展、容错（副本）、海量存储

128m数据块

文件-分块-备份 （编号）

资源调度系统YARN

Hadoop1.x只支持rm，但Hadoop2.x通过Yarn支持其他（spark）

MapReduce

shuffing重新洗牌，把相同的key分到一个地方

优势

发展史

/article/hadoop-ten-years-interpretation-and-development-forecast

谷歌

Apache hadoop开源 ， 900节点1T 209秒 世界最快 商业化公司 首Hadoop发行版 《权威指南》

Hbse、Pig、Hive、Zookeep脱离Hadoop成为Apache顶级项目

Spark逐渐代替MR成为Hadoop执行引擎

IBM-基于hadoop数据分析软件

移动-大云 研究hadoop

阿里-云梯 处理电子商务数据

Mapr公司 推出mapr和分布式文件系统

现在Hadoop3.x

生态系统

有hadoop不够，mr只能实现离线批处理，但如果还要实时计算还需要生态系统的其他玩家 spark

39.47

hive: sql->mr 适用离线文件分析

R 统计分析

Mathout深度学习 往spark方向去了，底层mr不更新了

pig脚本->mr 适合离线分析

Oozie 依赖关系工作流

Zookeeper分布式协调管理多组件 （Hbase单点故障问题）

Flume分布式日志收集

Sqoop传统数据库和hadoop数据传输

Hbase结构化可伸缩的存储数据库 实时查询数据 快查（s级别上）

发行版本选择

解决jar包冲突

商业按照

CDH提供cm码，浏览器下一步安装，文档丰富，Spark合作，cm不开源可能有坑

/cdh5/cdh/5/

选择尾缀相同的tar.gz cdh

HDP安装和升级，添加和删除节点比较费劲

CDH >HDP > Apache

企业应用案例

预测发货 亚马逊

构建购买人群模型，发邮件 怀孕

啤酒和尿布

第3章 分布式文件系统HDFS

设计分布式文件系统

每个文件128M存入前分块，解决并行处理提升效率，多副本存储负载均衡。

架构

运行在Linux上HDFS由Java编写

副本机制

分块-副本不同节点上

hdfs不支持多并发写。

副本存放策略

先同机架，后不同机架。为了安全应该最少一个机架

副本挂掉之后可以到另一个机架获取

环境搭建

hadoop

java-jdk

mysql

### 关闭防火墙

设置防火墙查看防火墙状态systemctl status firewalld.service停止firewallsystemctl stop firewalld.service禁止firewall开机启动systemctl disable firewalld.service

Mac上的仿xshell

https://bennyrhys./article/details/108904326

CDH版-hadoop

cdh版本的hadoop和其他第三方具有稳定性

/cdh5/cdh/5/

hadoop需要配合java环境和ssh使用

java环境

ssh

先搭建伪分布式

jdk

// 解压tar -zxvf 待解压文件-C 指定目录解压// 配置vi /etc/profileexport JAVA_HOME=/root/software/jdk1.8.0_91export PATH=$JAVA_HOME/bin:$PATH// 刷新source /etc/profile// 验证java -versionjava version "1.8.0_91"Java(TM) SE Runtime Environment (build 1.8.0_91-b14)Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)

tar -zxvf 文件 -C 解压路径

配置环境变量

验证生效

source /etc/pro // 也可以这样

ssh免密登录

如果提示没有可用的软件包，是本机安装的时候就自动安装了

sudo yum install ssh没有可用软件包 ssh。错误：无须任何处理

[root@hadoop01 jdk1.8.0_91]# ssh-keygen -t rsa// 连续回车// 存储Your identification has been saved in /root/.ssh/id_rsa.Your public key has been saved in /root/.ssh/id_rsa.pub.// 进入存储 .sh查[root@hadoop01 ~]# ls -al

.开头目录默认隐藏

ls -al // 展示.开头文件进入目录

拷贝文件

[root@hadoop01 .ssh]# cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys[root@hadoop01 .ssh]# cat authorized_keysssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDcNTPFpbnrmR3TAp+3Hw8aFpr7uGp88vzCJi3BCn6EIInEIWp0LMgDglDnUx3OJ8/fg2bNKfrukWmcKQUcpLXrXlw0cFsSHM9Jwh1weNgq3JBsS3dfQ8Vu5OdNkOL85PwbL3/K9BdkZcJhtCKEYGuyK20XMgrD+8WHGxtvTXX6G3WstvbuzLU/ex+K1zopjb12z9gJ1tpUZyCShllnU/NbSQMeMPSOKyb2Z18YGF+ienOf1lfklzE9zj4LGgxG5gQQtgmSWrI85sOrBKqCgzBBVYxA2Rh97XKqbJlD9DdOoc0F4kBBBz6i1pJA4jDg8shEpfz/jD8oKunS7UQLQxEtroot@hadoop01// 验证登录[root@hadoop01 .ssh]# ssh localhostThe authenticity of host 'localhost (::1)' can't be established.ECDSA key fingerprint is 84:7e:3a:83:2a:8e:26:e3:ba:15:72:36:4b:05:45:d6.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'localhost' (ECDSA) to the list of known hosts.Last login: Thu Oct 1 12:13:45 from 192.168.210.1[root@hadoop01 ~]# exit登出// 解决ssh hadoop01 找不到名称[root@hadoop01 ~]# ssh hadoop01The authenticity of host 'hadoop01 (::1)' can't be established.ECDSA key fingerprint is 84:7e:3a:83:2a:8e:26:e3:ba:15:72:36:4b:05:45:d6.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'hadoop01' (ECDSA) to the list of known hosts.Last login: Sun Oct 4 02:22:22 from 192.168.210.1[root@hadoop01 ~]# exit登出Connection to hadoop01 closed.[root@hadoop01 ~]# ssh hadoop01Last login: Sun Oct 4 02:22:32 from localhost[root@hadoop01 ~]# exit登出Connection to hadoop01 closed.

验证是否配置成功

解决ifconfig命令失效

没有安装ifconfig等命令，运行ifconfig命令就会出错。

解决方法：

yum search ifconfig

yum install net-tools.x86_64

解决ssh报错

Linux-SSH报错：Could not resolve hostname node1: Name or service not know

#vi /etc/hosts127.0.0.1 localhost hadoop01 localhost4 localhost4.localdomain4::1 localhost hadoop01 localhost6 localhost6.localdomain6// 重启reboot

hadoop

bin文件

客户端

删除所有cmd文件，这是windows上使用的

[root@hadoop01 hadoop-2.6.0-cdh5.7.0]# cd bin[root@hadoop01 bin]# ll总用量 84-rwxr-xr-x. 1 1106 4001 5509 3月 24 hadoop-rwxr-xr-x. 1 1106 4001 8298 3月 24 hadoop.cmd-rwxr-xr-x. 1 1106 4001 12175 3月 24 hdfs-rwxr-xr-x. 1 1106 4001 6915 3月 24 hdfs.cmd-rwxr-xr-x. 1 1106 4001 5463 3月 24 mapred-rwxr-xr-x. 1 1106 4001 5949 3月 24 mapred.cmd-rwxr-xr-x. 1 1106 4001 1776 3月 24 rcc-rwxr-xr-x. 1 1106 4001 12176 3月 24 yarn-rwxr-xr-x. 1 1106 4001 10895 3月 24 yarn.cmd[root@hadoop01 bin]# rm *.cmdrm：是否删除普通文件 "hadoop.cmd"？rm：是否删除普通文件 "hdfs.cmd"？rm：是否删除普通文件 "mapred.cmd"？rm：是否删除普通文件 "yarn.cmd"

etc/hadoop

配置文件

sbin

启动集群的

hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce

案例使用

hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar

hadoop配置文件的修改

etc/hadoop

// 获取java位置[root@hadoop01 ~]# echo $JAVA_HOME/root/software/jdk1.8.0_91//修改文件hadoop]# vi hadoop-env.sh# The java implementation to use.export JAVA_HOME=/root/software/jdk1.8.0_91

hdfs配置伪分布式1个节点

etc/hadoop/core-site.xml:// hdfs生成目录<property><name>fs.defaultFS</name><value>hdfs://hadoop01:8020</value></property>// 解决：临时目录变指定目录hdfs位置(注意创建目录)<property><name>hadoop.tmp.dir</name><value>/root/hadoop/tmp</value></property>etc/hadoop/hdfs-site.xml:<property><name>dfs.replication</name><value>1</value></property>// 集群slave，1个nameNode和多个dateNode有多少个dateNode，直接把hostname写到slaves中vi slaveshadoop01

[root@hadoop01 ~]# mkdir hadoop[root@hadoop01 ~]# cd hadoop/[root@hadoop01 hadoop]# mkdir tmp[root@hadoop01 hadoop]# cd tmp/[root@hadoop01 tmp]# ll总用量 0[root@hadoop01 tmp]# pwd/root/hadoop/tmp

启动hdfs

1格式化文件系统

// hdfs格式化启动（一次启动，不可多次启动）$ bin/hdfs namenode -format// 过时hadoop改用hdfsDEPRECATED: Use of this script to execute hdfs command is deprecated.bin]# ./hadoop namenode -format

2启动hdfs

Start NameNode daemon and DataNode daemon:$ sbin/start-dfs.shsbin]# ./start-dfs.shyes// 验证1 jps[root@hadoop01 sbin]# jps2599 DataNode2521 NameNode2778 SecondaryNameNode2890 Jps// 假设出现问题追踪日志 out->log 启动时有路径sbin]# cat /root/software/hadoop-2.6.0-cdh5.7.0/logs/hadoop-root-namenode-hadoop01.log// 验证2 网页http://192.168.210.121:50070/

页面可以查看当前活跃节点

存活的节点信息

日志目录输出 data name namesecondary

[root@hadoop01 ~]# cd /root/hadoop/tmp/[root@hadoop01 tmp]# ll总用量 0drwxr-xr-x. 5 root root 48 10月 4 06:36 dfs[root@hadoop01 tmp]# cd dfs/[root@hadoop01 dfs]# ll总用量 0drwx------. 3 root root 38 10月 4 06:36 datadrwxr-xr-x. 3 root root 38 10月 4 06:36 namedrwxr-xr-x. 3 root root 38 10月 4 06:38 namesecondary

停止hdfs

[root@hadoop01 sbin]# ./stop-dfs.sh[root@hadoop01 sbin]# jps3243 Jps

HDFS 常用shell指令

配置hadoop/bin环境变量

vi /etc/profileexport HADOOP_HOME=/root/software/hadoop-2.6.0-cdh5.7.0export PATH=$HADOOP_HOME/bin:$PATHsource /etc/profile

指令帮助

测试查看指令帮助

hdfsUsage: hdfs [--config confdir] COMMANDwhere COMMAND is one of:dfs run a filesystem command on the file systems supported in Hadoop.namenode -formatformat the DFS filesystemsecondarynamenode run the DFS secondary namenodenamenode run the DFS namenodejournalnoderun the DFS journalnodezkfc run the ZK Failover Controller daemondatanode run a DFS datanodedfsadmin run a DFS admin clienthaadmin run a DFS HA admin clientfsck run a DFS filesystem checking utilitybalancer run a cluster balancing utilityjmxgetget JMX exported values from NameNode or DataNode.moverrun a utility to move block replicas acrossstorage typesoiv apply the offline fsimage viewer to an fsimageoiv_legacy apply the offline fsimage viewer to an legacy fsimageoev apply the offline edits viewer to an edits filefetchdt fetch a delegation token from the NameNodegetconf get config values from configurationgroupsget the groups which users belong tosnapshotDiff diff two snapshots of a directory or diff thecurrent directory contents with a snapshotlsSnapshottableDir list all snapshottable dirs owned by the current userUse -help to see optionsportmap run a portmap servicenfs3 run an NFS version 3 gatewaycacheadmin configure the HDFS cachecryptoconfigure HDFS encryption zonesstoragepolicieslist/get/set block storage policiesversion print the version

提示使用hadoop fs + 参数

[root@hadoop01 bin]# hdfs dfsUsage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-checksum <src> ...][-chgrp [-R] GROUP PATH...][-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...][-chown [-R] [OWNER][:[GROUP]] PATH...][-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>][-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>][-count [-q] [-h] [-v] <path> ...][-cp [-f] [-p | -p[topax]] <src> ... <dst>][-createSnapshot <snapshotDir> [<snapshotName>]][-deleteSnapshot <snapshotDir> <snapshotName>][-df [-h] [<path> ...]][-du [-s] [-h] <path> ...][-expunge][-find <path> ... <expression> ...][-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>][-getfacl [-R] <path>][-getfattr [-R] {-n name | -d} [-e en] <path>][-getmerge [-nl] <src> <localdst>][-help [cmd ...]]

前提环境-启动hdfs

[root@hadoop01 sbin]# ./start-dfs.sh[root@hadoop01 sbin]# jps3665 DataNode3555 NameNode3925 Jps3822 SecondaryNameNode

本地上传文件到hdfs

创建本地文件/root/data

[root@hadoop01 ~]# mkdir data[root@hadoop01 ~]# cd data/[root@hadoop01 data]# vi hello.txthello worldhello hadoophello hdfs

上传文件

[root@hadoop01 ~]# cd /root/data/[root@hadoop01 data]# hadoop fs -ls /20/10/04 07:29:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable[root@hadoop01 data]# hadoop fs -put hello.txt /20/10/04 07:29:13 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable[root@hadoop01 data]# hadoop fs -ls /20/10/04 07:29:18 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableFound 1 items-rw-r--r-- 1 root supergroup 37 -10-04 07:29 /hello.txt[root@hadoop01 data]# hadoop fs -cat /hello.txt20/10/04 07:30:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicablehello worldhello hadoophello hdfs

法2copy

[root@hadoop01 data]# hadoop fs -copyFromLocal hello.txt /hello/a/b/h.txt20/10/04 07:39:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable[root@hadoop01 data]# hadoop fs -lsr /lsr: DEPRECATED: Please use 'ls -R' instead.20/10/04 07:39:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicabledrwxr-xr-x - root supergroup0 -10-04 07:32 /hellodrwxr-xr-x - root supergroup0 -10-04 07:32 /hello/adrwxr-xr-x - root supergroup0 -10-04 07:39 /hello/a/b-rw-r--r-- 1 root supergroup 37 -10-04 07:39 /hello/a/b/h.txt-rw-r--r-- 1 root supergroup 37 -10-04 07:29 /hello.txt[root@hadoop01 data]# hadoop fs -cat /hello/a/b/h.txt20/10/04 07:39:59 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicablehello worldhello hadoophello hdfs

HDFS创建递归文件夹-p

// mkdir -p 递归创建hdfs上的文件夹[root@hadoop01 data]# hadoop fs -mkdir -p /hello/a/b20/10/04 07:32:59 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable[root@hadoop01 data]# hadoop fs -ls /20/10/04 07:33:07 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableFound 2 itemsdrwxr-xr-x - root supergroup0 -10-04 07:32 /hello-rw-r--r-- 1 root supergroup 37 -10-04 07:29 /hello.txt[root@hadoop01 data]# hadoop fs -ls /hello20/10/04 07:34:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableFound 1 itemsdrwxr-xr-x - root supergroup0 -10-04 07:32 /hello/a[root@hadoop01 data]# hadoop fs -ls /hello/a20/10/04 07:34:26 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableFound 1 itemsdrwxr-xr-x - root supergroup0 -10-04 07:32 /hello/a/b

递归查看文件夹lsr

过期建议使用-R

[root@hadoop01 data]# hadoop fs -lsr /lsr: DEPRECATED: Please use 'ls -R' instead.20/10/04 07:35:28 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicabledrwxr-xr-x - root supergroup0 -10-04 07:32 /hellodrwxr-xr-x - root supergroup0 -10-04 07:32 /hello/adrwxr-xr-x - root supergroup0 -10-04 07:32 /hello/a/b-rw-r--r-- 1 root supergroup 37 -10-04 07:29 /hello.txt

HDFS文件下载到本地 -get

[root@hadoop01 data]# lshello.txt[root@hadoop01 data]# hadoop fs -get /hello/a/b/h.txt20/10/04 07:41:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable[root@hadoop01 data]# lshello.txt h.txt

HDFS删除文件，文件夹

// 删除文件rm[root@hadoop01 data]# hadoop fs -rm /hello20/10/04 07:43:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicablerm: `/hello': Is a directory[root@hadoop01 data]# hadoop fs -rm /hello.txt20/10/04 07:44:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableDeleted /hello.txt[root@hadoop01 data]# hadoop fs -ls -R /20/10/04 07:44:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicabledrwxr-xr-x - root supergroup0 -10-04 07:32 /hellodrwxr-xr-x - root supergroup0 -10-04 07:32 /hello/adrwxr-xr-x - root supergroup0 -10-04 07:39 /hello/a/b-rw-r--r-- 1 root supergroup 37 -10-04 07:39 /hello/a/b/h.txt// 删除文件夹必须递归 -R[root@hadoop01 data]# hadoop fs -rm -R /hello20/10/04 07:45:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableDeleted /hello[root@hadoop01 data]# hadoop fs -ls -R /

通过页面浏览128M的分块

http://192.168.210.121:50070/

上传文件小于128，和大于128的情况

// h可以展示暂用空间[root@hadoop01 software]# ls -lh总用量 472Mdrwxr-xr-x. 15 1106 4001 4.0K 10月 4 06:35 hadoop-2.6.0-cdh5.7.0-rw-r--r--. 1 root root 298M 10月 1 12:28 hadoop-2.6.0-cdh5.7.0.tar.gzdrwxr-xr-x. 8 10 143 4.0K 4月 1 jdk1.8.0_91-rw-r--r--. 1 root root 173M 10月 1 12:29 jdk-8u91-linux-x64.tar.gz-rw-r--r--. 1 root root 961K 10月 1 12:28 mysql-connector-java-5.1.38.jar[root@hadoop01 software]# hadoop fs -put hadoop-2.6.0-cdh5.7.0.tar.gz /

小于128，1块

大于128，298，分成3块

配置Mac本地host映射

bennyrhys$ sudo vim /etc/hosts# 大数据hadoop测试192.168.210.121 hadoop01192.168.210.122 hadoop02192.168.210.123 hadoop03

Java-API操作HDFS文件

host映射

本地映射

bennyrhys$ vim /etc/hosts# 大数据hadoop测试192.168.210.121 hadoop01192.168.210.122 hadoop02192.168.210.123 hadoop03

centos映射

Centos7和别的版本有点区别

uname -n ：查看host对应的域名

1 先在/etc/hostname 配置想要的域名 默认localhost.localdomain修改hadoop101

2 在/etc/hosts 配置ip和域名映射 192.168.31.101 hadoop101

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.210.121 hadoop01192.168.210.122 hadoop02192.168.210.123 hadoop03

开发环境

创建本地maven项目

<properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><piler.source>1.7</piler.source><piler.target>1.7</piler.target><hadoop.version>2.7.3</hadoop.version></properties><dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>${hadoop.version}</version></dependency>

指定cdh的本地仓库和url地址（默认没有cdh的包）

/

cdh版本安装

/cloudera/webapp/#/home

<properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><piler.source>1.7</piler.source><piler.target>1.7</piler.target><hadoop.version>2.6.0-cdh5.7.0</hadoop.version></properties><repositories><repository><id>cloudera</id><url>/artifactory/cloudera-repos/</url></repository></repositories><dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>${hadoop.version}</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.11</version><scope>test</scope></dependency></dependencies>

Java-API

注意导入的包

虚拟机配置文件

[root@hadoop01 hadoop]# vi core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://192.168.210.121:9000</value></property><property><name>hadoop.tmp.dir</name><value>/root/hadoop/tmp</value></property></configuration>

Java代码

package com.bennyrhys.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.junit.After;import org.junit.Before;import org.junit.Test;import .URI;/*** HADDOP HDFS API 操作* @Author bennyrhys* @Date -10-04 13:34*/public class HDFSApp {public static final String HDFS_PATH = "hdfs://hadoop01:9000";FileSystem fileSystem = null;Configuration configuration = null;/*** 创建目录* @throws Exception*/@Testpublic void mkdir() throws Exception{/*System.setProperty("HADOOP_USER_NAME","root");Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://hadoop01:9000");conf.set("dfs.replication", "1");FileSystem fs = FileSystem.get(conf);fs.mkdirs(new Path("/hdfsapi1/test"));*/fileSystem.mkdirs(new Path("/hdfsapi2/test"));}@Beforepublic void setUp() throws Exception {System.out.println("HDFS.setUp");configuration = new Configuration();fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");}@Afterpublic void tearDown() throws Exception {configuration = null;fileSystem = null;System.out.println("HDFS.tearDown");}}

验证虚拟机生成文件

[root@hadoop01 hadoop]# hadoop fs -ls -R /20/10/04 12:28:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable-rw-r--r-- 1 root supergroup 311585484 -10-04 07:52 /hadoop-2.6.0-cdh5.7.0.tar.gzdrwxr-xr-x - root supergroup0 -10-04 12:14 /hdfsapidrwxr-xr-x - root supergroup0 -10-04 12:14 /hdfsapi/test-rw-r--r-- 1 root supergroup 37 -10-04 07:47 /hello.txt

解决角色不同，不可写

fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");

解决由于hdfs安全模式无法操作

关闭安全模式

hdfs dfsadmin -safemode leave

HDFS-JavaAPI增删改查

package com.bennyrhys.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.util.Progressable;import org.junit.After;import org.junit.Before;import org.junit.Test;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.InputStream;import .URI;/*** HADDOP HDFS API 操作* @Author bennyrhys* @Date -10-04 13:34*/public class HDFSApp {public static final String HDFS_PATH = "hdfs://hadoop01:9000";FileSystem fileSystem = null;Configuration configuration = null;/*** 创建目录* @throws Exception*/@Testpublic void mkdir() throws Exception{/*System.setProperty("HADOOP_USER_NAME","root");Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://hadoop01:9000");conf.set("dfs.replication", "1");FileSystem fs = FileSystem.get(conf);fs.mkdirs(new Path("/hdfsapi1/test"));*/fileSystem.mkdirs(new Path("/hdfsapi2/test"));}/*** 创建一个文件* @throws Exception*/@Testpublic void create() throws Exception{FSDataOutputStream output = fileSystem.create(new Path("/hdfsapi/test/a.txt"));output.write("hello world".getBytes());output.flush();output.close();}/*** 查看文件*/@Testpublic void cat() throws Exception{FSDataInputStream in = fileSystem.open(new Path("/hdfsapi/test/a.txt"));IOUtils.copyBytes(in, System.out, 1024);in.close();}/*** 文件重命名*/@Testpublic void rename() throws Exception{Path oldPath = new Path("/hdfsapi/test/a.txt");Path newPath = new Path("/hdfsapi/test/b.txt");fileSystem.rename(oldPath, newPath);}/*** 本地上传小文件*/@Testpublic void copyFromLocalFile()throws Exception{Path localPath = new Path("/Users/bennyrhys/Desktop/hello.txt");Path targetPath = new Path("/hdfsapi/test/");fileSystem.copyFromLocalFile(localPath,targetPath);}/*** 本地上传大文件* io流操作*/@Testpublic void copyFromLocalFileWithProgess()throws Exception{/*Path localPath = new Path("/Users/bennyrhys/Desktop/hadoop/hadoop-2.6.0-cdh5.7.0.tar.gz");Path targetPath = new Path("/hdfsapi/test/");fileSystem.copyFromLocalFile(localPath,targetPath);*///297M ls -lh// io 输入InputStream in = new BufferedInputStream(new FileInputStream(new File("/Users/bennyrhys/Desktop/hadoop/hadoop-2.6.0-cdh5.7.0.tar.gz")));// 输出 进度显示FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/hadoop-2.6.0.tar.gz"),new Progressable() {@Overridepublic void progress() {System.out.println("."); // 带进度提醒信息}});IOUtils.copyBytes(in, out, 4096);}/*** hdfs下载到本地* @throws Exception*/@Testpublic void copyToLocalFile() throws Exception{Path hdfsPath = new Path("/hdfsapi/test/b.txt");Path localPath = new Path("/Users/bennyrhys/Desktop/temp.txt");fileSystem.copyToLocalFile(hdfsPath, localPath);}/*** hdfs指定路径的文件信息* @throws Exception*/@Testpublic void listStatus() throws Exception {FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/hdfsapi/test/"));for (FileStatus fileStatus : fileStatuses) {String isDir = fileStatus.isDirectory() ? "文件夹" : "文件";short replication = fileStatus.getReplication(); // 副本数量（hdfs上传有副本预设1，本地没有预设显示3）long len = fileStatus.getLen();Path path = fileStatus.getPath();System.out.println(isDir + "\t" + replication + "\t" + len + "\t" + path);}}/*** 删除目录下的文件* @throws Exception*/@Testpublic void delete() throws Exception{fileSystem.delete(new Path("/hdfsapi/test/"), true); // 默认递归删除}@Beforepublic void setUp() throws Exception {System.out.println("HDFS.setUp");configuration = new Configuration();fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");}@Afterpublic void tearDown() throws Exception {configuration = null;fileSystem = null;System.out.println("HDFS.tearDown");}}

HDFS读写流程

写数据

NameNode(全局把控，唯一)

DataNode（数据存储，多个）

客户端请求（默认配置128M的块，3个副本）

创建副本（流水线串联副本创建）

客户端 分块12M/块

NameNode 记住每个块，所对应的DataNode存在哪几个副本节点

DataNode 存储并返回NameNode成功存储

读数据

客户端 提供名字

NameNode 提供名字对应的（多个被拆分的块id，及对应的副本DataNode位置）

客户端-DataNode获取最近数据

HDFS优缺点

读写数据有完善的容错机制

流式数据，一次写入多次读取

适合大文件存储

构建在廉价机器上

缺

低延迟数据访问

小文件（会暂用内存，NameNode压力也就变大）

总结

HDFS架构1 Master(NameNode/NN) 带 N个Slaves(DataNode/DN)HDFS/YARN/HBase1个文件会被拆分成多个Blockblocksize：128M130M ==> 2个Block： 128M 和 2MNN：1）负责客户端请求的响应2）负责元数据（文件的名称、副本系数、Block存放的DN）的管理DN：1）存储用户的文件对应的数据块(Block)2）要定期向NN发送心跳信息，汇报本身及其所有的block信息，健康状况A typical deployment has a dedicated machine that runs only the NameNode software. Each of the other machines in the cluster runs one instance of the DataNode software.The architecture does not preclude running multiple DataNodes on the same machine but in a real deployment that is rarely the case.NameNode + N个DataNode建议：NN和DN是部署在不同的节点上replication factor：副本系数、副本因子All blocks in a file except the last block are the same sizeHadoop伪分布式安装步骤1）jdk安装解压：tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app添加到系统环境变量： ~/.bash_profileexport JAVA_HOME=/home/hadoop/app/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$PATH使得环境变量生效： source ~/.bash_profile验证java是否配置成功： java -v2）安装sshsudo yum install sshssh-keygen -t rsacp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys3）下载并解压hadoop下载：直接去cdh网站下载解压：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app4）hadoop配置文件的修改(hadoop_home/etc/hadoop)hadoop-env.shexport JAVA_HOME=/home/hadoop/app/jdk1.7.0_79core-site.xml<property><name>fs.defaultFS</name><value>hdfs://hadoop000:8020</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/app/tmp</value></property>hdfs-site.xml<property><name>dfs.replication</name><value>1</value></property>slaves 5）启动hdfs格式化文件系统（仅第一次执行即可，不要重复执行）：hdfs/hadoop namenode -format启动hdfs: sbin/start-dfs.sh验证是否启动成功：jpsDataNodeSecondaryNameNodeNameNode浏览器访问方式： http://hadoop000:500706）停止hdfssbin/stop-dfs.sh Hadoop shell的基本使用hdfs dfshadoop fsJava API操作HDFS文件文件1311585484hdfs://hadoop000:8020/hadoop-2.6.0-cdh5.7.0.tar.gz文件夹00hdfs://hadoop000:8020/hdfsapi文件149hdfs://hadoop000:8020/hello.txt文件140762hdfs://hadoop000:8020/install.log问题：我们已经在hdfs-site.xml中设置了副本系数为1，为什么此时查询文件看到的3呢？如果你是通过hdfs shell的方式put的上去的那么，才采用默认的副本系数1如果我们是java api上传上去的，在本地我们并没有手工设置副本系数，所以否则采用的是hadoop自己的副本系数

第4章 分布式资源调度YARN

产生背景

概述

架构

执行流程

环境搭建

官网配置

告诉mr是跑在yarn上

/

/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/

etc/hadoop/mapred-site.xml:

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

etc/hadoop/yarn-site.xml:

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

启动

$ sbin/start-yarn.sh

检验

http://localhost:8088/

jps

ResourceManager

NodeManager

停止

$ sbin/stop-yarn.sh

提交作业mr到yarn

[root@hadoop01 mapreduce]# pwd/root/software/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce[root@hadoop01 mapreduce]# ll总用量 4876-rw-r--r--. 1 1106 4001 523960 3月 24 hadoop-mapreduce-client-app-2.6.0-cdh5.7.0.jar-rw-r--r--. 1 1106 4001 753831 3月 24 hadoop-mapreduce-client-common-2.6.0-cdh5.7.0.jar-rw-r--r--. 1 1106 4001 1542374 3月 24 hadoop-mapreduce-client-core-2.6.0-cdh5.7.0.jar-rw-r--r--. 1 1106 4001 171256 3月 24 hadoop-mapreduce-client-hs-2.6.0-cdh5.7.0.jar-rw-r--r--. 1 1106 4001 10467 3月 24 hadoop-mapreduce-client-hs-plugins-2.6.0-cdh5.7.0.jar-rw-r--r--. 1 1106 4001 43777 3月 24 hadoop-mapreduce-client-jobclient-2.6.0-cdh5.7.0.jar-rw-r--r--. 1 1106 4001 1499926 3月 24 hadoop-mapreduce-client-jobclient-2.6.0-cdh5.7.0-tests.jar-rw-r--r--. 1 1106 4001 91087 3月 24 hadoop-mapreduce-client-nativetask-2.6.0-cdh5.7.0.jar-rw-r--r--. 1 1106 4001 50818 3月 24 hadoop-mapreduce-client-shuffle-2.6.0-cdh5.7.0.jar-rw-r--r--. 1 1106 4001 276202 3月 24 hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jardrwxr-xr-x. 2 1106 4001 4096 3月 24 libdrwxr-xr-x. 2 1106 400129 3月 24 lib-examplesdrwxr-xr-x. 2 1106 4001 4096 3月 24 sources[root@hadoop01 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

hadoop jar 包名.jar 方法 参数

总结

Hadoop1.x时：MapReduce：Master/Slave架构，1个JobTracker带多个TaskTrackerJobTracker： 负责资源管理和作业调度TaskTracker：定期向JT汇报本节点的健康状况、资源使用情况、作业执行情况；接收来自JT的命令：启动任务/杀死任务YARN：不同计算框架可以共享同一个HDFS集群上的数据，享受整体的资源调度XXX on YARN的好处：与其他计算框架共享集群资源，按资源需要分配，进而提高集群资源的利用率XXX: Spark/MapReduce/Storm/FlinkYARN架构：1）ResourceManager: RM整个集群同一时间提供服务的RM只有一个，负责集群资源的统一管理和调度处理客户端的请求： 提交一个作业、杀死一个作业监控我们的NM，一旦某个NM挂了，那么该NM上运行的任务需要告诉我们的AM来如何进行处理2) NodeManager: NM整个集群中有多个，负责自己本身节点资源管理和使用定时向RM汇报本节点的资源使用情况接收并处理来自RM的各种命令：启动Container处理来自AM的命令单个节点的资源管理3) ApplicationMaster: AM每个应用程序对应一个：MR、Spark，负责应用程序的管理为应用程序向RM申请资源（core、memory），分配给内部task需要与NM通信：启动/停止task，task是运行在container里面，AM也是运行在container里面4) Container封装了CPU、Memory等资源的一个容器是一个任务运行环境的抽象5) Client提交作业查询作业的运行进度杀死作业YARN环境搭建1）mapred-site.xml<property><name>mapreduce.framework.name</name><value>yarn</value></property>2）yarn-site.xml<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>3) 启动YARN相关的进程sbin/start-yarn.sh4）验证jpsResourceManagerNodeManagerhttp://hadoop000:80885）停止YARN相关的进程sbin/stop-yarn.sh提交mr作业到YARN上运行：/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jarhadoop jar hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

第5章 分布式计算框架MapReduce

概述

前置条件 haddop的安装并运行（hdfs\yarn）

WorldCount词频统计案例

编程模型

map和reduce执行流程

序列化、比较 接口

整个过程就是kv形式，记录偏移量 长度

Format

拆分split，默认和block128M是对应的

记录读取器，读取每一行

架构

1.x

MapReduce1.x的架构1）JobTracker: JT作业的管理者管理的将作业分解成一堆的任务：Task（MapTask和ReduceTask）将任务分派给TaskTracker运行作业的监控、容错处理（task作业挂了，重启task的机制）在一定的时间间隔内，JT没有收到TT的心跳信息，TT可能是挂了，TT上运行的任务会被指派到其他TT上去执行2）TaskTracker: TT任务的执行者干活的在TT上执行我们的Task（MapTask和ReduceTask）会与JT进行交互：执行/启动/停止作业，发送心跳信息给JT3）MapTask自己开发的map任务交由该Task出来解析每条记录的数据，交给自己的map方法处理将map的输出结果写到本地磁盘（有些作业只仅有map没有reduce==>HDFS）4）ReduceTask将Map Task输出的数据进行读取按照数据进行分组传给我们自己编写的reduce方法处理输出结果写到HDFS

2.x

申请Node资源,获取信息，启动指定Node的Container

方便扩充第三方的spark

Java写WordCount

选择新版本的Mapper

JAVA代码

package com.bennyrhys.hadoop.mapreduce;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import java.io.IOException;/*** @Author bennyrhys* @Date -10-09 23:39* 使用MapReduce开发WordCount*/public class WordCount {/*** Map:输入文件* Text当成Java中的字符串*/public static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {LongWritable one = new LongWritable(1);@Overrideprotected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {// 接收一行指定数据String line = value.toString();// 根据指定字符进行分割String[] words = line.split(" ");for (String word : words) {// 通过上下文，将分割的map赋值v=1，处理结果输出context.write(new Text(word), one);}}}public static class MyReduce extends Reducer<Text, LongWritable, Text, LongWritable> {@Overrideprotected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {long sum = 0;for (LongWritable value : values) {// LongWritable -> java类型 .get// 求key出现次数的总和sum += value.get();}// 求最后统计结果的输出context.write(key, new LongWritable(sum));}}/*** Driver: 封装MapReduce*/public static void main(String[] args) throws Exception {// 创建 hadoop 的configurationConfiguration configuration = new Configuration();// 创建 jobJob job = Job.getInstance(configuration, "wordcount");// 设置job的处理类job.setJarByClass(WordCount.class);// 设置作业处理的输入路径FileInputFormat.setInputPaths(job, new Path(args[0]));// 设置map参数job.setMapperClass(MyMapper.class);job.setMapOutputKeyClass(Text.class);job.setMapOutputValueClass(LongWritable.class);// 设置reduce参数job.setReducerClass(MyReduce.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(LongWritable.class);// 设置作业处理的输出路径FileOutputFormat.setOutputPath(job, new Path(args[1]));System.exit(job.waitForCompletion(true) ? 0 : 1);}}

本地打jar包

clean-》package，在target里面找到

本地上传到服务器

scp hdfs-api-1.0-SNAPSHOT.jar root@hadoop01:~/lib

确保hello.txt文件在hdfs上

[root@hadoop01 data]# hadoop fs -cat /hello.txt20/10/05 14:54:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicablehello worldhello hadoophello hdfs

启动

[root@hadoop01 data]# hadoop jar /root/data/hdfs-api-1.0-SNAPSHOT.jar com.bennyrhys.hadoop.mapreduce.WordCount hdfs://hadoop01:9000/hello.txt hdfs://hadoop01:9000/output/wc

检验输出wc在hdfs上

[root@hadoop01 data]# hadoop fs -lsr /output/wclsr: DEPRECATED: Please use 'ls -R' instead.20/10/05 15:00:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable-rw-r--r-- 1 root supergroup0 -10-05 14:57 /output/wc/_SUCCESS-rw-r--r-- 1 root supergroup 35 -10-05 14:57 /output/wc/part-r-00000[root@hadoop01 data]# hadoop fs -cat /output/wc/part-r-0000020/10/05 15:00:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable1hadoop1hdfs1hello3world1

手动删除

防止重复执行文件，形成重复输出的报错

写脚本，先删除输出文件在执行

// 改变执行权限 -rw-r--r--. 变成 -rwxr--r--chmod u+x wc_rm.sh./wc_rm.sh

java自动删除

MapReduce编程之Combiner

场景

Combinerhadoop jar /home/hadoop/lib/hadoop-train-1.0.jar com.imooc.binerApp hdfs://hadoop000:8020/hello.txt hdfs://hadoop000:8020/output/wc使用场景：求和、次数 + 平均数 X

验证生效

运行的屏幕输出

MapReduce之Partitioner

检验四个partation

MapReduce配置history

重启yarn

启动jobhistory

jps可以验证

hdfs输出文件验证

解决聚合没有打开 log无法查看

yarn开启聚合 修改配置文件

其中包含了生成hdfs的保存的路径

wordcount: 统计文件中每个单词出现的次数需求：求wc1) 文件内容小：shell2）文件内容很大： TB GB ???? 如何解决大数据量的统计分析==> url TOPN <== wc的延伸 工作中很多场景的开发都是wc的基础上进行改造的借助于分布式计算框架来解决了： mapreduce分而治之(input) <k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3> (output)核心概念Split：交由MapReduce作业来处理的数据块，是MapReduce中最小的计算单元HDFS：blocksize 是HDFS中最小的存储单元 128M默认情况下：他们两是一一对应的，当然我们也可以手工设置他们之间的关系（不建议）InputFormat：将我们的输入数据进行分片(split): InputSplit[] getSplits(JobConf job, int numSplits) throws IOException;TextInputFormat: 处理文本格式的数据OutputFormat: 输出MapReduce1.x的架构1）JobTracker: JT作业的管理者管理的将作业分解成一堆的任务：Task（MapTask和ReduceTask）将任务分派给TaskTracker运行作业的监控、容错处理（task作业挂了，重启task的机制）在一定的时间间隔内，JT没有收到TT的心跳信息，TT可能是挂了，TT上运行的任务会被指派到其他TT上去执行2）TaskTracker: TT任务的执行者干活的在TT上执行我们的Task（MapTask和ReduceTask）会与JT进行交互：执行/启动/停止作业，发送心跳信息给JT3）MapTask自己开发的map任务交由该Task出来解析每条记录的数据，交给自己的map方法处理将map的输出结果写到本地磁盘（有些作业只仅有map没有reduce==>HDFS）4）ReduceTask将Map Task输出的数据进行读取按照数据进行分组传给我们自己编写的reduce方法处理输出结果写到HDFS使用IDEA+Maven开发wc：1）开发2）编译：mvn clean package -DskipTests3）上传到服务器：scp target/hadoop-train-1.0.jar hadoop@hadoop000:~/lib4）运行hadoop jar /home/hadoop/lib/hadoop-train-1.0.jar com.imooc.hadoop.mapreduce.WordCountApp hdfs://hadoop000:8020/hello.txt hdfs://hadoop000:8020/output/wc相同的代码和脚本再次执行，会报错security.UserGroupInformation:PriviledgedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop000:8020/output/wc already existsException in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop000:8020/output/wc already exists在MR中，输出文件是不能事先存在的1）先手工通过shell的方式将输出文件夹先删除hadoop fs -rm -r /output/wc2) 在代码中完成自动删除功能: 推荐大家使用这种方式Path outputPath = new Path(args[1]);FileSystem fileSystem = FileSystem.get(configuration);if(fileSystem.exists(outputPath)){fileSystem.delete(outputPath, true);System.out.println("output file exists, but is has deleted");}Combinerhadoop jar /home/hadoop/lib/hadoop-train-1.0.jar com.imooc.binerApp hdfs://hadoop000:8020/hello.txt hdfs://hadoop000:8020/output/wc使用场景：求和、次数 + 平均数 XPartitionerhadoop jar /home/hadoop/lib/hadoop-train-1.0.jar com.imooc.hadoop.mapreduce.ParititonerApp hdfs://hadoop000:8020/partitioner hdfs://hadoop000:8020/output/partitioner

第6章 Hadoop项目实战

【大数据】Hadoop项目实战-用户行为日志