Hadoop安装与配置

NameNode 无法启动，则需要重新格式化 namenode

public class WordCount {

public static class Map extends MapReduceBase implementsMapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text();

public void map(LongWritable key, Text value,OutputCollector<Text, IntWritable> output, Reporter reporter)throws IOException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); output.collect(word, one); }}}

WordCount程序解析

public static class Reduce extends MapReduceBase implementsReducer<Text, IntWritable, Text, IntWritable> {

public void reduce(Text key, Iterator<IntWritable> values,OutputCollector<Text, IntWritable> output, Reporter reporter)throws IOException {

int sum = 0; while (values.hasNext()) { sum += values.next().get(); } output.collect(key, new IntWritable(sum)); } }

Pig 的安装与使用

export JAVA_HOME=/usr/lib/jvm/java-7-sun export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

export Pig_HOME=/home/hadoop/pig-0.10.0export PATH=/home/hadoop/pig-0.10.0/bin:$PATHexport Pig_CLASSPATH=$HADOOP_HOME/conf

下载 pig-0.10.0，解压到相应目录

./bashrc 文件的配置

Pig 的安装与使用

安装成功之后，使用 pig -help 查看，显示安装成功

Pig –x local 登陆，本地模式（便于验证）

使用 pig进行简单的读写

结果如图

聚类操作

结果如图

关系运算符的操作

结果如图

关系运算符的操作： Union

关系运算符的操作： Split

结果如图

关系运算符的操作：过滤

结果如图

关系运算符的操作：聚类

结果如图

经验总结及感悟

对 linux平台的命令行要熟悉 (文本编辑工具、用户权限指令 )

开发者应该 Hadoop及其插件配置的繁琐的细节屏蔽掉，不要交给用户去做