关于网络机器人的有关问题（急）

关于网络机器人的问题（急）
请问，如果要编写一个网络机器人来搜索网站内容，需要用到哪些类，哪些包。还有就是可以能不能详细的说下这个网络机器人工作的原理。谢谢

[解决办法]
去这里看看都是“爬虫”http://www.open-open.com/68.htm