oozie安装问题
在cdh3u3版本上安装后,按照官方文档的配置方法,轻松搞定。
http://incubator.apache.org/oozie/QuickStart.html
其中,要注意以下几点:
1,运行命令:
bin/oozie-setup.sh -hadoop 0.20.2 ${HADOOP_HOME} -extjs /tmp/ext-2.2.zip时,首先
版本号用的是0.20.2。
2,ext-2.2.zip的版本一定是2.2的,且不是Ext-2.2.zip,一定用小写的那个包。(google code啥样下载的那个Ext-2.2.zip不行)
使用bigtop方式安装的hadoop和oozie,
1,应该用service方法启动oozie,sudo service oozie start
2,访问oozie页面遇到404错误时,需要进行如下操作。
For 20.2, you can follow these steps:
1. From oozie-default.xml, copy the property "oozie.services" including all the values into
your oozie-site.xml.
2. In oozie-site.xml, one of the service name is "KerberosHadoopAccessorService". Remove only
"Kerberos" which will make it "HadoopAccessorService".
3. Restart Oozie.
(http://mail-archives.apache.org/mod_mbox/incubator-oozie-users/201204.mbox/%3C1335005113.22861.YahooMailNeo@web161303.mail.bf1.yahoo.com%3E)
然后,就ok了。
--------------
补充下,无论哪个版本的hadoop,oozie默认都是开启kerberos权限管理的,
需要关闭,并替换成hadoop自身的权限管理,这样才能运行。
具体方法参见:https://github.com/yahoo/oozie/wiki/FAQ
其实,就和上面那个讲的一样,
1,把oozie-default.xml里面的oozie.services属性值全部复制到oozie-site.xml里面。
2,删去其中的org.apache.oozie.service.KerberosHadoopAccessorService值;
3,增加一个值:org.apache.oozie.service.HadoopAccessorService。
(其实就是上面的修改,呵呵)
然后重启oozie就ok。
执行job时会遇到诡异的报错。
------
刚开始使用,可能会遇到些基础概念性的问题。
1,job.properties文件是整个工作流的入口,一个工作流最初的配置信息就在这里面。
2,工作流的实际工作内容和相应的库是放在hdfs中的。(这个路径地址在job.properties里面指定)
3,然后就是执行了,目前还没有碰到啥特别的。
--------
哦,对了,要注意一个问题。
再最开始执行时,一直报错:oozie HTTP error code: 500 : Internal Server Error.
而且最诡异的是,这个错误不会往oozie.log或者catalina.out里面记录任何错误信息。
折腾了好久,发现错误会记录在localhost.2012-05-14.log文件里面,错误内容如下:
jackson-core-asl-1.5.2.jarjackson-mapper-asl-1.5.2.jarlog4j-1.2.15.jarslf4j-api-1.4.3.jarslf4j-log4j12-1.4.3.jarcommons-configuration-1.6.jar