收集行业数据处理的一些总结
1.网上得数据下载到本地，利于快速分析 具体操作：java多线程 httputil
2.提取出关键信息进行分析 ，一般是key value键值对
分析数量 key value的状况 key value尽量不带html的东西
3.建立第二部中提取的key值与开发系统设计的key值关系规则
4.导入数据库，建立持续自动更新机制，跟系统集成的话就quartz等 或者直接linux的cron
根据上述key point 建立起对应的框架，分配任务，提供接口 写核心代码 迭代进行
上一篇blog就是在这个过程中写的一个工具类，快速的下载html
