[求助]网页抓取 500 错误

我再抓取页面时使用如下语句：
            System.Net.HttpWebRequest req = (System.Net.HttpWebRequest)System.Net.HttpWebRequest.Create(url);
            req.AllowAutoRedirect = true;
                System.Net.HttpWebResponse resp = (System.Net.HttpWebResponse)req.GetResponse();

部分网站是正常的，能够达到我的目的，但是还有些网站居然说出现 500内部错误，原提示如下：The remote server returned an error: (500) Internal Server Error.
而我使用浏览器却可以访问，如何解决这个问题呢？
谢谢！ --------------------编程问答-------------------- 修改浏览器配置, 高级 显示友好http错误  钩掉, 查看具体错误! --------------------编程问答-------------------- to qfkfw：我的意思是用浏览器可以正常访问我需要的网站，但是使用上述语句访问同一个网站就会出现500错误，是不是这个网站有什么特殊的设置？ --------------------编程问答-------------------- 看看资源是否已释放。
--------------------编程问答-------------------- 呃，和资源无关吧。
问题还没能解决。程序的本意是达到网页小偷类的效果的……但是那个特定的页面使用开头的语句无法访问，但从浏览器就可以…… --------------------编程问答-------------------- …………
自己顶……

补充：.NET技术 ,  ASP.NET