在Hadoop中使用MRUnit进行单元测试
最近在学习Marcello de Sales的TF-IDF示例的时候，需要用到MRUnit来对Map、Reduce、MapReduce做测试，
网上找了一个极其简单的教程:
?
介绍:
? ? ? ?MRUnit是一款由Couldera公司开发的专门针对Hadoop中编写MapReduce单元测试的框架。
它可以用于0.18.x版本中的经典org.apache.hadoop.mapred.*的模型，也能在0.20.x版本org.apache.hadoop.mapreduce.*的新模型中使用。
安装:
? ? ? ?在目前Hadoop的发行版中，并没有默认包含MRUnit。你需要去Couldera公司的官网中去下载一个由他们再次发行的版本。
? ? ? 推荐的版本为：hadoop-0.20.1+133.tar.gz?。
? ? ? ?下载这个文件后，你将在hadoop-0.20.1+133/contrib/mrunit目录中找到我们需要的jar包：hadoop-0.20.1+133-mrunit.jar。
? ? ? ?为了使用MRUnit，我们需要将hadoop-0.20.1+133-mrunit.jar和Junit4.x使用的jar包：junit.jar都添加到我们开发Hadoop程序项目的classpath中。
示例:
?
package gpcuster.cnblogs.com;import junit.framework.TestCase;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapred.Mapper;import org.apache.hadoop.mapred.lib.IdentityMapper;import org.junit.Before;import org.junit.Test;import org.apache.hadoop.mrunit.MapDriver;public class TestExample extends TestCase { private Mapper<Text, Text, Text, Text> mapper; private MapDriver<Text, Text, Text, Text> driver; @Before public void setUp() { mapper = new IdentityMapper<Text, Text>(); driver = new MapDriver<Text, Text, Text, Text>(mapper); } @Test public void testIdentityMapper() { driver.withInput(new Text("foo"), new Text("bar")) .withOutput(new Text("foo"), new Text("bar")) .runTest(); }}??
参考材料:
博客园 逖靖寒?http://gpcuster.cnblogs.com
?