当前位置:编程学习 > JAVA >>

java 实现网络爬虫用哪个爬虫框架比较好?

大家哈,我想用java 实现一个网络爬虫的程序,请问用什么爬虫框架比较好,比如说我要抓取一些游戏传媒信息。用什么技术框架好!??请大家帮忙支支招,谢谢! --------------------编程问答-------------------- 爬虫有框架吗?好像只有一些开源的实现吧,Heritrix比较适合,而且用的比较多,可以自由定制,网上相关的中文资料也比较多 --------------------编程问答-------------------- 楼主,我也碰到你这样的问题,不知道你学的怎么样了?求指点 --------------------编程问答-------------------- 自己写爬取程序吧 看你业务需求了 你针对的是什么了 最好说的详细点
一般来说 可以通过该网站的API搜索信息,这是最快最准的。如果不行就拼凑连接自己解析。最后还是不行就只有最笨最慢最不稳定的方法爬网页解析。N多方法最好使用API最不好就爬网页。
--------------------编程问答-------------------- 如果你是做项目,建议你用框架
如果你是真的想提高自己能力,作为爱好研究一下,建议你研究框架源码, --------------------编程问答-------------------- 共有31款Java 网络爬虫开源软件,网址:http://www.oschina.net/project/tag/64/spider?lang=19&os=0&sort=view&p=1,其中Nutch和Heritrix比较流行  --------------------编程问答-------------------- httpclient不错 --------------------编程问答-------------------- 推荐一个Jsoup 看一下,感觉这个不错
http://tieba.baidu.com/p/2114471038
补充:Java ,  非技术区
CopyRight © 2012 站长网 编程知识问答 www.zzzyk.com All Rights Reserved
部份技术文章来自网络,