如何获取Ajax网页数据?
最近在www.hub.sciverse.com上使用搜索,想通过编程方式收集一下其数据,开始用webbrowser控件进行数据分析,但是使用Get方法翻页后,似乎总是获得同一Html代码,
后发现,网址的数据依靠ajax形式回传,利用http可以看到详细的json返回值,
请问哪位朋友有相关经验,我如何获取到需要数据信息?
另详细数据见
http://blog.csdn.net/xeonfeng/article/details/7506477 --------------------编程问答-------------------- google、百度,没听说过谁收集什么“ajax数据”的。 --------------------编程问答-------------------- 解析json呗 --------------------编程问答--------------------
你用firefox的fire bugger调试,看看他的ajax是如何请求的,你吧他的请求的地址和参数拷贝出来
然后模拟请求就是
已下是请求整个网页
WebRequest req = WebRequest.Create("http://www.csdn.net/");
Stream st = req.GetResponse().GetResponseStream();
StreamReader sr = new StreamReader(st, Encoding.UTF8);
string html = sr.ReadToEnd(); --------------------编程问答-------------------- 如果是回传了,那你得模拟post处理啊,然后就能得到页面。 --------------------编程问答--------------------
不太清楚如何获取 json --------------------编程问答-------------------- 收集它来干嘛 --------------------编程问答-------------------- 在线等啊。。。。
补充:.NET技术 , C#