当前位置:编程学习 > C#/ASP.NET >>

【采集】C# 写一客户端,采集某网站的信息数据,但对方网站有限制采集间隔,求解决方案??

C# 写一客户端,采集某网站的信息数据,但对方网站有限制时间间隔,如:1分钟内,仅允许当前账号的IP采集5次, 
超过这个间隔,网站就屏蔽该合法账号。(用于合法采集数据) 

ip基本上在软件启动后,在动态改变ip的策略上,实施比较困难。 
不知有其它方案可以解决此问题否?恳请各位详细指点。 --------------------编程问答-------------------- 用adsl重新拨号,其他办法就没有了 --------------------编程问答-------------------- sleep(60000) --------------------编程问答--------------------

如何为造或动态切换ip呢?

或有没有其它办法,切换或清除缓存,骗过服务器端的检测 。。 --------------------编程问答--------------------
引用 1 楼 jinjazz 的回复:
用adsl重新拨号,其他办法就没有了

除非adsl线路争用,短时间内重新拨号一般IP地址不会变...

只有用多代理了,不过现在代理不好找哦... --------------------编程问答-------------------- sleep(60000)

//***********
呵呵,这样只能中断,采集就是不希望有这样的间隔,否则就失去了信息处理及时的意义了。

目前需求是这样,我们唯有想其它办法了。。谢谢兄弟关注。 --------------------编程问答-------------------- 用5个帐号,轮换登录。 --------------------编程问答-------------------- 代理服务器都太不稳定了,只能用几天就没了。

你不可能去清除人家服务器的缓存,你需要区分合法采集和入侵,如果利用别人程序的漏洞来非法获取数据就是入侵需要承担法律责任,和通过正常页面采集一般都不会有法律风险。

ip地址欺骗这个就不要考虑了,你给对方一个假的ip,你就收不到对方服务器发回的数据了。 --------------------编程问答-------------------- ip地址欺骗这个就不要考虑了,你给对方一个假的ip,你就收不到对方服务器发回的数据了。
------------------------
是啊,这是一个很头痛的问题。
客户端需要接收服务器发回的数据。

谢谢jin兄弟。只限于正常的页面采集,现在考虑的是提高采集频率,且是正常合法的账号。无关其它!

用5个帐号,轮换登录。
呵呵,这样也是固定到某IP了,服务器一般是检测ip的登陆及访问间隔吧?



--------------------编程问答-------------------- 一个IP一分钟5次,那你就用12台计算机接12条adsl好了,呵呵... --------------------编程问答-------------------- 用12台计算机接12条adsl 

成本就不提了。光技术的整合。那工作量太大了。。
有其它兄弟的建议么。。 --------------------编程问答-------------------- 你写程序,每分钟重新拨个号吧 --------------------编程问答-------------------- 重新拨个号
,从加载到拨号完毕,是否需要等待一至二秒左右?


那影响数据的即时性了,惨。。。 --------------------编程问答--------------------
况且若是局域网呢。。 --------------------编程问答-------------------- --------------------编程问答--------------------
引用 9 楼 vrhero 的回复:
一个IP一分钟5次,那你就用12台计算机接12条adsl好了,呵呵...

强大... --------------------编程问答-------------------- 呵呵...  --------------------编程问答-------------------- 谢谢,郁闷,怎么办呢。。 --------------------编程问答-------------------- 设置一个代理列表,采集前获取每个代理的速度值,然后排序 

主IP采集5个后,转到代理列表中采集,时间到了后再转回主IP
----------------------------------------------------
有比较稳定与速度快的代理么,这个方案可行,但存在不稳定性。

谢谢建议。


虚拟机如何理解??  
补充:.NET技术 ,  ASP.NET
CopyRight © 2012 站长网 编程知识问答 www.zzzyk.com All Rights Reserved
部份技术文章来自网络,