搜索引擎中的爬虫是怎样获取需要认证才能获得的信息的？ - Web 开发 / 其他例如很多bbs上的帖子是需要认证才能获得的，但是我们看到大部分的搜索引擎是能获取一些这样的内容，请问这相关的技术是怎样实现的？[解决办法]可以读到吗？我感觉是读不到啊。 [解决办法]应该是爬虫在数据传输过程中取到的[解决办法]需要认证的肯定不会被百度这样的搜索引擎收录的，http://www.baidu.com/search/guide.html#1有解释,不过用程序登录后再抓取也是可以做到的
