有程序员达人么，怎么开发自己的搜索引擎

【求助】有程序员达人么，如何开发自己的搜索引擎？
因工作需要，可能会开发一个小型的搜索引擎，需要用到spider来爬一些特定的网站，请问用哪种技术手段实现最好？

[解决办法]
up