如何获取动态加载的网页内容?
本人想用抓取新浪微博页面上的数据,碰到个问题,求指点!!问题背景:新浪微博的页面在浏览器中不是一次显示完的,需要下拉滚动条才分几次显示完全的,不知道是怎么实现的...
问题描述:我现在用HttpWebRequest 去获取网页数据,使用HttpWebRequest获取新浪微博的页面数据的时候不能完全获取“正在加载中,请稍候......”后面的数据拿不回来, 有什么办法能让我一次把数据都取回来呢?? 我又用webbrowser控件做了,但是动态加载的那部分源代码里还是不显示?用firebug就可以查看加载的那部分源码。用别的浏览器查看源代码就不行,求高手指点,如何才能得到动态加载的网页内容呢?
--------------------编程问答-------------------- 现在 人人来都来搞新浪微博了。。。我的个去。。。。搞吐了。。。 --------------------编程问答-------------------- 主要是想用里面的数据,还是请高手进来指点··· --------------------编程问答-------------------- 主要是想用里面的数据,还是请高手指点 --------------------编程问答-------------------- 推荐神器,火狐浏览器HttpFox 你抓包吧,你会发现一个大页 是45条微薄,默认显示15条,当你拉动滚动条时候,显示第16-15条微薄,类推,你要多请求2次的 --------------------编程问答-------------------- 我在火狐浏览器里加上firebug插件,在firebug里可以看到html源文件,但是如何得到哪些源码的呢?还请高手在指点指点,我就是想要加载完毕的源文件,用httpwebrequest不能到的加载内容的源码
--------------------编程问答-------------------- HttpFox 插件 --------------------编程问答-------------------- 抓包,分析 --------------------编程问答-------------------- 其实 我是知道的,但是你抓包还是要会啊,要不总是有问题的
补充:.NET技术 , C#