和大家谈论一个大数据列唯一性检查的方法!
比如URL地址的唯一性判断,搜索引擎中最常见的问题,上百亿的URL地址.
大家先说说自己的办法,30楼后给出我的方法,不过我估计不用到30楼肯定有人帮我贴答案了.:)
[解决办法]
mark
[解决办法]
这贴至少要顶到30楼。
[解决办法]
顶
[解决办法]
数星星
[解决办法]
还没到
[解决办法]
沉了
[解决办法]
8
[解决办法]
9
[解决办法]
10
[解决办法]
等答案。。。。
[解决办法]
消息-> 老版短消息
提示： Server is too busy
[解决办法]
等待ing
[解决办法]
50
[解决办法]
52
[解决办法]
53
[解决办法]
想想 url唯一。。
域名 + 端口， 不会了。。
[解决办法]
说一下应用场景啊
你的意思是 现在有个URL，需要在一个大大的库中判断她是不是存在
可以这样理解吗？
[解决办法]
上班了，还来得及。等待
[解决办法]
YAHOO是用MD5加密的方法来唯一的,楼主可以试试
[解决办法]
23
[解决办法]
123
[解决办法]
1
[解决办法]
321
[解决办法]
27
[解决办法]
28
[解决办法]
29
[解决办法]
30
[解决办法]
lz可以贴答案了
[解决办法]
31了....我是答案??
[解决办法]
学习了
[解决办法]
学习
[解决办法]
----任何长度的字符串由MD5算法处理后,都能得到固定长度binary(16)的字符串,如:C4CA4238A0B923820DCC509A6F75849B
这时我们再做唯一性判断,效率当然要高很多~~~~
是不是这样理解 : 数字的比较 比字符串的比较效率高?
------解决方案--------------------
学习了
[解决办法]
排序，比较相邻的是否相等
[解决办法]
补充几点，你要事先手动转义
1. 比如大小写 URL 中大小写是一个意思
2. 转义符 如空格可以写在 %20, 而且每个字符都可以用% 转义。
这些要事先处理好
[解决办法]
从来只在技术区看到灌水的，在灌水的地方看不到问技术的
[解决办法]
学习中
[解决办法]
从来只在技术区看到灌水的，在灌水的地方看不到问技术的
[解决办法]
顶
[解决办法]
我有点疑问啊. "任何长度的字符串由MD5算法处理后,都能得到固定长度binary(16)的字符串 "这是不是针对一个集合里的字符串进行加密时是这样的,不是对所有的字符串吧,如果是这样,那不就是每一个字符串都有一个值了,所有字符串的个数肯定比16的16次方,也就是2的64次方(这个数确实很大,但字符串应该是无穷多的吧,菜鸟请指教
[解决办法]
唯一 性检查的方法
我是冲着这个讲法进来的，唉
[解决办法]
来顶一顶
[解决办法]
说得好啊！我在CSDN社区打滚这么多年，所谓阅人无数，就算没有见过猪走路，也总明白猪肉是啥味道的。一看到楼主的气势，我就觉得楼主同在社区里灌水的那帮小混混有着本质的差别！那忧郁的语调，那熟悉的签名，还有字里行间高屋建瓴的辞藻。没用的，楼主，就算你怎么换马甲都是没有用的，你的亿万拥戴者早已经把你认出来了，你一定就是传说中的最强ID。自从社区改版之后，我就已经心灰意冷，对社区也没抱什么希望了，传说已经幻灭，神话已经终结，留在社区还有什么意思？没想到，没想到，今天可以再睹楼主的风范，我激动得忍不住就在屏幕前流下了眼泪。是啊，只要在楼主的带领下，社区就有希望了。我的内心再一次沸腾了，我胸腔里的血再一次燃烧了。楼主就好比社区的明灯，楼主就好比社区的方向，楼主就好比社区的栋梁。有楼主在，社区的明天必将更好！
[解决办法]
lz我要拍死你！！！
