jeecms 爬虫 1.3 正式版 (捎带整合 jeecms2012工程源码)

jeecms 爬虫 1.3 正式版 (附带整合 jeecms2012工程源码)jeecms 爬虫 1.3 正式版 (附带整合 jeecms2012工程

jeecms 爬虫 1.3 正式版 (附带整合 jeecms2012工程源码)
jeecms 爬虫 1.3 正式版 (附带整合 jeecms2012工程源码)
这次把爬虫和定时任务框架提炼了出来,新增了分页内容采集参数设置,同时修改了2012分页BUG,添加了 专题选择,内容直接可进入选择的专题,根据是否有图片 判断内容类型:普通/图文.等。。。爬虫内部也做了不少修改。还有些细节的调整就不一一列举了,有兴趣的朋友,下来看看,让我们共同进步。如有什么问题请QQ交流: 164863067

jeecms 交流群:217868618,爬虫交流群:217690017

我的小站:www.meishih.com就是基于此爬虫建立的,已经采集了上万条数据了。
有做网站的朋友 交换个链接吧:),这年头自己搞网站不容易,大家相互帮助哈:),先谢了!
小站网址:www.meishih.com
小站名称:美食汇

/**********************2012-02-14 更新*******************************/
修改了采集内容分页问题,增加采集内容分页补全URL字段
程序和SQL已经更新

/**********************2012-03-02 更新*******************************/
新增采集参数:是否去重,是否使用代理,代理服务器地址及端口
新增爬虫配置参数文件,系统启动自动加载
修复采集有分页时,无法停止BUG....等
其他一些小化
程序和SQL已经更新
采集参数表SQL:
`repeat_check_type` varchar(20) NOT NULL DEFAULT 'NONE' COMMENT '重复类型',
  `use_proxy` varchar(20) DEFAULT 'false' COMMENT '是否使用代理',
  `proxy_port` varchar(100) DEFAULT NULL COMMENT '代理地址端口',
  `proxy_address` varchar(100) DEFAULT NULL COMMENT '代理地址',