jsoup 获取页面返回503,设置了User-Agent
需要抓取的页面较多,单线程速度很慢,多线程在get页面的时候网站返回503,而且特别容易封IP。怀疑网站是通过IP的单位时间内访问次数判断是不是爬虫,没有代理啊。。大家有什么好的解决方案? 爬虫jsoup
补充:Java , Java EE
需要抓取的页面较多,单线程速度很慢,多线程在get页面的时候网站返回503,而且特别容易封IP。怀疑网站是通过IP的单位时间内访问次数判断是不是爬虫,没有代理啊。。大家有什么好的解决方案? 爬虫jsoup
补充:Java , Java EE