爬虫求助
我在搜集数据的时候ip被一些网站封锁了，现在不能搜集这些网站的数据了，但是急着用这些数据！求助啊！！怎么样解封额！谢啦！（我用的是commons-httpclient-3.1）
重点：httpclient被封锁，但是浏览器却依然可以正常访问
已经尝试过的思路：
1 ip代理
结果：失效，透明代理依然会被封锁，匿名代理和超匿代理被禁止访问，是不可用的
2 访问速度控制
结果：无效，网站的防爬策略是基于流量的，哪怕我模拟人工的访问方式，流量过大依然会被封锁
预尝试方法：
1 有两个外网ip，在这两个之间切换
缺陷：封锁和解锁的时间不能平衡，比如说爬行2分钟就会被封锁，但是要15分钟才能解锁
2 有一个外网ip是动态分配的，当被封锁后，重新拨号获取新的外网ip
缺陷：考虑到爬虫的运行效率，这样的处理怕是效率太低了，达不到爬虫应用的应用效果
大家谁有更好的思路或者方法
[解决办法]
加一句下面这个代码
URLConnection conn=name.openConnection();
conn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 5.0; Windows XP; DigExt)");
[解决办法]
啊，我那是自己写的爬虫，没用什么外加的jar
我写的是爬csdn上发的代码段
[解决办法]
嗯，我没用他的httpClient
他的解决乱码问题挺不方便的
我自己写，感觉自己用着挺舒服
他的好多方法需要看api
[解决办法]
会乱码，我用几年了都没问题
