首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 其他教程 > 互联网 >

nutch 更新url.txt没法执行新的抓取

2012-07-18 
nutch 更新url.txt无法执行新的抓取nutch在使用中经常会修改url.txt中要抓取的目标网站,但是我们在二次开

nutch 更新url.txt无法执行新的抓取

nutch在使用中经常会修改url.txt中要抓取的目标网站,但是我们在二次开发的时候经常发现url但是仍然在抓取丢的配置网站,后来发现是索引文件夹得问题,在每次从新抓取的时候切忌要删掉索引文件夹,如果不删除目前我们发现会出现两个方面的问题

1:修改url从新抓取的时候不会根据新的url抓取,依然是抓取上次配置的url

2: 有时候会在抓取的执行到最后时候创建linked包错误,具体类型记得不是太清楚,大概就是linked xxxxx已经存在

热点排行