基于DotNET框架的抓取网页的方式

基于.NET框架的抓取网页的方式，下面是代码实例；

// 请求web页面，获取pageStr
private static string GetWholeHtmlCode(string url)
{
    string strHtml = string.Empty;
    StreamReader strReader = null;
    HttpWebResponse wrpContent = null;
    try
    {
 
        HttpWebRequest wrqContent = (HttpWebRequest)WebRequest.Create(url);
        wrqContent.Timeout = 300000;
        wrpContent = (HttpWebResponse)wrqContent.GetResponse();
        if (wrpContent.StatusCode != HttpStatusCode.OK)
        {
            //flgPageRetrieved = false;
            strHtml = String.Empty;
        }
        if (wrpContent != null)
        {
            strReader = new StreamReader(wrpContent.GetResponseStream(), Encoding.GetEncoding("gb2312"));
            strHtml = strReader.ReadToEnd();
        }
    }
    catch (Exception e)
    {
        //flgPageRetrieved = false;
        //strHtml = e.Message;
        strHtml = String.Empty;
    }
    finally
    {
 
        if (strReader != null)
        {
            strReader.Close();
        }
        if (wrpContent != null)
        {
            wrpContent.Close();
        }
    }
    return strHtml;
}

通过这个方法的调用可以获取对应的html代码，如：

//采集保存到本地
string strWholeHtml = GetWholeHtmlCode(SiteMapUrl);

那么strWholeHtml这个变量中则保存了我们想要的结果，而紧紧光这样还是不够的，我们需要根据这个变量解析出想要的内容；这里使用到下面的using HtmlAgilityPack;

这是一个国外的html dom操作库，HtmlAgilityPack.dll这个库可以搜索得到，这里就不提供下载链接了。
简单解析实例–>

HtmlDocument doc = new HtmlDocument();
doc.LoadHtml(strWholeHtml);
HtmlNodeCollection divlistCollection = doc.DocumentNode.SelectNodes("html[1]/body[1]/div[@class='link']");

这样我们就可以得到所有的class为"link"的div元素了 ^_^，如果我们想要接着获取其中的内容，则可以如下这样：

foreach(HtmlNode node in divlistCollection)
{
    string innerHtml = node.InnerHtml;//获取其中html
    string outerHtml = node.OuterHtml;//获取包含这个元素标签的这个整体html
    string innderText = node.InnerText;//获取其中的纯文本内容；
}

终于好了，就这样吧。