python去重的问题各位大侠,现在我有一些文本如下Python code1xx1.1.1.12012-09-10 08:22:03我现在要把第二
python去重的问题
各位大侠,现在我有一些文本如下
- Python code
1 xx 1.1.1.1 2012-09-10 08:22:03
我现在要把第二行和第三行是一样的数据去掉,请问python该如何写？
[解决办法]
一般把特征数据段放进字典或集合里，进行查询比较....
[解决办法]
- Python code
[liangdong@bb-browser-test00.vm.baidu.com py_project]$ python3 main.py [['2', 'xssx121', '2.1.1.1', '2012-09-10', '08:22:03'], ['3', 'x1sx2', '3.1.1.1', '2012-09-10', '08:22:03'], ['4', 'xx', '1.1.1.1', '2012-09-10', '08:22:03']][liangdong@bb-browser-test00.vm.baidu.com py_project]$ cat main.py # python version:3.2# -*- coding:utf-8 -*-result = {}with open('xxx.data', 'r') as stream: for line in stream: fields = line.split() key = fields[1:3] result["__UGLY_TOKEN__".join(key)] = fieldsprint(list(iter(result.values())))[liangdong@bb-browser-test00.vm.baidu.com py_project]$ cat xxx.data 1 xx 1.1.1.1 2012-09-10 08:22:032 xssx121 2.1.1.1 2012-09-10 08:22:033 x1sx2 3.1.1.1 2012-09-10 08:22:034 xx 1.1.1.1 2012-09-10 08:22:03[liangdong@bb-browser-test00.vm.baidu.com py_project]$ cat main.py # python version:3.2# -*- coding:utf-8 -*-result = {}with open('xxx.data', 'r') as stream: for line in stream: fields = line.split() key = fields[1:3] result["__UGLY_TOKEN__".join(key)] = fieldsprint(list(iter(result.values())))
[解决办法]
是第2列和第3列？还是
第2行和第3行？