首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > .NET > .NET >

散分之余的小疑点

2012-01-19 
散分之余的小问题关于采集问题的构思[解决办法]jf[解决办法]关注[解决办法]这个。。。jf[解决办法]DB[解决办

散分之余的小问题
关于采集问题的构思

[解决办法]
jf
[解决办法]
关注
[解决办法]
这个。。。jf
[解决办法]
DB
[解决办法]
这个需要对相关网页的结构有一个分析,比如HTML中产品名称前后有些什么特征,产品介绍有什么特征,报价有什么特征,如果分页,分页的链接有什么特征。 

对于每条记录我们设置一个标志,标志分为:正常、未执行、分析出错、IP地址限制等等。

只有将所有信息写到数据库之后才将标志设置为正常,这样就可以根据标志知道哪些没有正常执行,下次执行的时候继续执行。

至于表结构你可以根据人家HTML代码分页,哪些有特征并且是你需要的就添加相应字段。

还可以分析网页的结构,从目录页开始,采用多线程去抓取和分析,并负责添加到数据库。
[解决办法]
jf 帮顶
[解决办法]
我是来接分的~
[解决办法]
帮顶~
[解决办法]
jf
[解决办法]
不明白楼主在说什么
或许是因为本鸟太菜了吧
帮忙顶一下
[解决办法]

探讨
jf

热点排行