首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 操作系统 > UNIXLINUX >

shell怎么过滤文本中相同单词

2012-02-11 
shell如何过滤文本中相同单词如test.txt中有如下内容goodgoodbetterbetterbestbestyouknow...如何把相同的

shell如何过滤文本中相同单词
如test.txt中有如下内容
good
good
better
better
best
best
you
know
.
.
.
如何把相同的单词提取出来啊?谢谢!(用grep sed awk find等都可以。)

[解决办法]
sort test.txt | uniq -c | awk '{if($1>1) print $2}'
[解决办法]
for i in `cat sourcefile |sort -r|cut -c1-1|uniq`
do
grep ^$i sourcefile |sed q |tee -a targetfile
done
[解决办法]
awk 'NR==FNR{a[$1]++}NR>FNR&&a[$1]>1' filename filename

ps:filename就是同一个文件名字
[解决办法]

Perl code
$ awk '{if(a[$1]++){print $1}}' testgoodbetterbest
[解决办法]
awk 'a[$1]++{print $1}' yourfile

热点排行