Hadoop实战-中高级部分 之 Hadoop IO
?
Hadoop RestFulHadoop HDFS原理1Hadoop HDFS原理2Hadoop作业调优参数调整及原理Hadoop HAHadoop MapReduce高级编程Hadoop IOHadoop MapReduce工作原理Hadoop 管理Hadoop 集群安装Hadoop RPC?第一部分：数据完整性数据完整性及其采用的技术HDFS的数据完整性???本地文件系统第二部分：压缩编码/解码Hadoop支持的压缩形式压缩格式工具算法??文件扩展名??多文件可分割性?DEFLATE?无?DEFLATE?.deflate?不?不?gzip?gzip?DEFLATE?.gz?不?不?bzip2?bzip2?bzip2?.bz2?不?是?LZO?lzop?LZO?.lzo?不?不压缩格式Java?实现本地实现DEFLATE是是Gzip是是Bzip2是否?LZO否是?压缩与输入分割在MR?中使用压缩第三部分：序列化什么是Hadoop的序列化Writable接口WritableComparable?与?comparatorHadoop自带的序列化接口（Writable类）自定义Writable第四部分：基于文件的数据结构SequenceFile类写SequenceFile读SequenceFile在SequenceFile使用压缩MapFile读MapFile写MapFile步骤：??????1.?设置?Configuration????? 2.?获取?File System????? 3.?设置文件输出路径????? 4.?MapFile?.createWriter?创建?MapFile?.createWriter?然后写入????? 5.?调用?MapFile?.Writer?.append?追加写入????? 6.?关闭流??? 转载请注明出处【??http://sishuok.com/forum/blogPost/list/5963.html】?
