awk合并多个文件并去除重复行
awk '!a[$0]++' a.txt b.txt c.txt?
解释：
1、当条件 !a[$0]++ 为真时，awk 的默认动作是 print $0，即打印出当前行；
2、当一行首次出现时，a[$0]为假，!a[$0]++为真。以后，当相同的行再次出现时，a[$0]为真，!a[$0]++为假，所以不再打印该重复的行。所以就实现了去除重复行的功能。
类似上面的运用还有很多，比如提取一个文件的奇数行，可用如下方法：
awk 'NR%2' a.txt
sed实现提取奇数行：
sed -n 'p;n'
