我的webrequest经验

1 webrequest 是什么：编程方式模拟web请求，利用webrequest可以实现相当于一个浏览器请求一个网页的效果，但是它始终是模拟请求，
与浏览器输入框输入网址请求不一样。
2 程序设计中有时有这样的case，需要请求一个url，获得特定网页的部分html代码，比如特定的table，div片段。
这个时候可以用代码实现一个httpwebrequest请求，以get的方式请求远程站点的一个url，返回结果是网页的整个html,之后再在结果中提取我们需要的数据。
代码如下

#region WebRequest请求url
      /// <summary>
      /// WebRequest请求url
      /// </summary>
      /// <param name="reqUrl">服务端URl</param>
      /// <param name="method">方法大写（POST）</param>
      /// <returns>返回Xml格式字符串</returns>
      public string CreateRequest(string reqUrl, string method, string param)
      {
          string error = string.Empty;
          string resultStr = string.Empty;
          HttpWebRequest webReq = (HttpWebRequest)HttpWebRequest.Create(reqUrl);
          webReq.Method = method;
          webReq.KeepAlive = true;
          webReq.Timeout = 20000;
          webReq.ContentType = "text/html";//application/x-www-form-urlencoded
          webReq.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)";
          if (method == "POST")
          {
              byte[] bs = Encoding.ASCII.GetBytes(param);
              webReq.ContentLength = bs.Length;
              using (Stream reqStream = webReq.GetRequestStream())
              {
                  reqStream.Write(bs, 0, bs.Length);
              }
          }
          using (HttpWebResponse response = (HttpWebResponse)webReq.GetResponse())
          {
              using (StreamReader reader = new StreamReader(response.GetResponseStream()))
              {
                  resultStr = reader.ReadToEnd();
              }

              if (response != null)
                  response.Close();
          }
          return GetChartSize(resultStr);
      }
      #endregion
在远程站点服务器不做任何限制的情况下，这样的单个请求一般都会成功。
有几种情况需要注意。
1 整个过程是一个客户端服务端的完整请求，请求结束后要记得关闭连接，使用using是一个好的习惯。否则后果很严重
2 我做过的关于webrequest的几个项目都涉及到循环请求web服务器，比如我是先得到一个产品信息列表，假设有一次200条，其中一条商品信息有一个url值，
必须webrequest去请求网页获得一段html，之后我分析完这段html后再去请求，这样循环发送，相当于攻击了。一定数量的产品信息列表就可以循环发起请求了。一段时间后不稳定情况就出现了。
明明存在的url，在请求的时候就报url不存在了。
原因：但某一个请求一段时间后得不到回应，请求会中断，之后的请求也就失败了：
The remote server returned an error: (404) Not Found.
at System.Net.HttpWebRequest.GetResponse()
实际上根本是存在的url
3 .NET对连接有数最的限制，可以设置ServicePointManager.DefaultConnectionLimit修改限制数量。
频繁的请求可能跟连接限制有关系，我对.NET连接限制的原理不是很清楚，在我的代码和webconfig分别把这个连接数设置为
512，结果没有起任何作用。
我自己测试ServicePointManager.DefaultConnectionLimit的默认值是21
4 关于这个问题的一些参考资料
》http://www.cnblogs.com/Thriving-Country/archive/2009/12/18/1627008.html
这里详细的解释了并发连接，
http://q.cnblogs.com/q/34850/
http://topic.csdn.net/u/20070403/15/e2fc87fb-4795-4c50-9c21-934a46079e62.html
我的建议：
根据我自己的经验，循环使用webrequest请求远程网页的做法不是一个科学可靠的设计方案，
这样做不稳定而且风险巨大，一定数量级的频繁请求肯定会出问题。程序需要的数据最好还是预先放在数据库中做持久化处理

摘自日耳曼战车

补充：Web开发 , 其他 ,