ASP.NET网络爬虫小研究 HtmlAgilityPack基础，爬取数据保存在数据库中再显示再自己的网页中

时间：2018-01-26 22:41:28 阅读：246 评论：0 收藏：0 [点我收藏+]

标签：comm content dex info trim dataset 第一个下载 attribute

1、什么是网络爬虫

关于爬虫百度百科这样定义的：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。从搜索引擎开始，爬虫应该就出现了，爬虫所做的事情就是分析URL、下载WebServer返回的HTML、分析HTML内容、构建HTTP请求的模拟、在爬虫过程中存储有用的信息等等。简单点说，就是把别人网站上的东西爬下来，至于爬做什么用就看你自己了。

写网络爬虫很多语言都可以写，比如众所周知的Python以及、PHP、C、Java等等。今天我就基于.Net中的HtmlAgilityPack类写一个简单的爬虫。

2、HtmlAgilityPack类

HtmlAgilityPack 是 .NET 下的一个 HTML 解析类库。支持用 XPath 来解析 HTML 。命名空间： HtmlAgilityPack，下载地址：http://htmlagilitypack.codeplex.com/releases/view/90925

技术分享图片

2.1基本属性

Attributes 　　　　　　　　　　　　获取节点的属性集合
ChildNodes　　　　　　　　　　　　获取子节点集合(包括文本节点)
Closed　　　　　　　　　　　　　　该节点是否已关闭(</xxx>)
ClosingAttributes　　　　　　　　在关闭标签的属性集合
FirstChild　　　　　　　　　　　　获取第一个子节点
HasAttributes　　　　　　　　　　判断该节点是否含有属性
HasChildNodes　　　　　　　　　　判断该节点是否含有子节点
HasClosingAttributes　　　　　　判断该节点的关闭标签是否含有属性(</xxx class="xxx">)
Id　　　　　　　　　　　　　　　　获取该节点的Id属性
InnerHtml　　　　　　　　　　　　获取该节点的Html代码
InnerText　　　　　　　　　　　　获取该节点的内容，与InnerHtml不同的地方在于它会过滤掉Html代码，而InnerHtml是连Html代码一起输出
LastChild　　　　　　　　　　　　获取最后一个子节点
Line　　　　　　　　　　　　　　　获取该节点的开始标签或开始代码位于整个HTML源代码的第几行(行号)
LinePosition　　　　　　　　　　　获取该节点位于第几列
Name　　　　　　　　　　　　　　 Html元素名
NextSibling　　　　　　　　　　　　获取下一个兄弟节点
NodeType　　　　　　　　　　　　获取该节点的节点类型
OriginalName　　　　　　　　　　　获取原始的未经更改的元素名
OuterHtml　　　　　　　　　　　　整个节点的代码
OwnerDocument　　　　　　　　　节点所在的HtmlDocument文档
ParentNode　　　　　　　　　　　　获取该节点的父节点
PreviousSibling　　　　　　　　　　获取前一个兄弟节点
StreamPosition　　　　　　　　　　该节点位于整个Html文档的字符位置
XPath　　　　　　　　　　　　　　根据节点返回该节点的XPath

2.2方法

IEnumerable<HtmlNode> Ancestors(); 　　　　　　　　　　　　　　返回此元素的所有上级节点的集合。
IEnumerable<HtmlNode> Ancestors(string name); 　　　　　　　返回此元素参数名字匹配的所有上级节点的集合。
IEnumerable<HtmlNode> AncestorsAndSelf(); 　　　　　　　　　　返回此元素的所有上级节点和自身的集合。
IEnumerable<HtmlNode> AncestorsAndSelf(string name); 　　　　返回此元素的名字匹配的所有上级节点和自身的集合。
HtmlNode AppendChild(HtmlNode newChild); 　　　　　　　　　　将参数元素追加到为调用元素的子元素(追加在最后)
void AppendChildren(HtmlNodeCollection newChildren);　　　　　　将参数集合中的元素追加为调用元素的子元素(追加在最后)
HtmlNode PrependChild(HtmlNode newChild); 　　　　　　　　　　将参数中的元素作为子元素，放在调用元素的最前面
void PrependChildren(HtmlNodeCollection newChildren); 　　　　　　将参数集合中的所有元素作为子元素，放在调用元素前面
static bool CanOverlapElement(string name); 　　　　　　　　　　　确定是否可以保存重复的元素
IEnumerable<HtmlAttribute> ChildAttributes(string name); 　　　　获取所有子元素的属性(参数名要与元素名匹配)
HtmlNode Clone(); 　　　　　　　　　　　　　　　　　　　　　　　　本节点克隆到一个新的节点
HtmlNode CloneNode(bool deep); 　　　　　　　　　　　　　　　　　节点克隆到一个新的几点，参数确定是否连子元素一起克隆
HtmlNode CloneNode(string newName); 　　　　　　　　　　　　　　克隆的同时更改元素名
HtmlNode CloneNode(string newName, bool deep);　　　　　　　　克隆的同时更改元素名。参数确定是否连子元素一起克隆
void CopyFrom(HtmlNode node); 　　　　　　　　　　　　　　　　　创建重复的节点和其下的子树。
void CopyFrom(HtmlNode node, bool deep); 　　　　　　　　　　　创建节点的副本。
XPathNavigator CreateNavigator(); 　　　　　　　　　　　　　　　　返回的一个对于此文档的XPathNavigator
static HtmlNode CreateNode(string html); 　　　　　　　　　　　　静态方法，允许用字符串创建一个新节点
XPathNavigator CreateRootNavigator(); 　　　　　　　　　　　　　　创建一个根路径的XPathNavigator
IEnumerable<HtmlNode> DescendantNodes(); 　　　　　　　　　　获取所有子代节点
IEnumerable<HtmlNode> DescendantNodesAndSelf(); 　　　　　　获取所有的子代节点以及自身
IEnumerable<HtmlNode> Descendants(); 　　　　　　　　　　　　　获取枚举列表中的所有子代节点
IEnumerable<HtmlNode> Descendants(string name); 　　　　　　　获取枚举列表中的所有子代节点，注意元素名要与参数匹配
IEnumerable<HtmlNode> DescendantsAndSelf(); 　　　　　　　　　获取枚举列表中的所有子代节点以及自身
IEnumerable<HtmlNode> DescendantsAndSelf(string name);　　　获取枚举列表中的所有子代节点以及自身，注意元素名要与参数匹配
HtmlNode Element(string name); 　　　　　　　　　　　　　　　　　根据参数名获取一个元素
IEnumerable<HtmlNode> Elements(string name); 　　　　　　　　　根据参数名获取匹配的元素集合
bool GetAttributeValue(string name, bool def); 　　　　　　　　　　帮助方法，用来获取此节点的属性的值(布尔类型)。如果未找到该属性，则将返回默认值。
int GetAttributeValue(string name, int def); 　　　　　　　　　　　　帮助方法，用来获取此节点的属性的值(整型)。如果未找到该属性，则将返回默认值。
string GetAttributeValue(string name, string def); 　　　　　　　　　帮助方法，用来获取此节点的属性的值(字符串类型)。如果未找到该属性，则将返回默认值。
HtmlNode InsertAfter(HtmlNode newChild, HtmlNode refChild); 　　将一个节点插入到第二个参数节点的后面，与第二个参数是兄弟关系
HtmlNode InsertBefore(HtmlNode newChild, HtmlNode refChild); 　　讲一个节点插入到第二个参数节点的后面，与第二个参数是兄弟关系
static bool IsCDataElement(string name); 　　　　　　　　　　　　　确定是否一个元素节点是一个 CDATA 元素节点。
static bool IsClosedElement(string name); 　　　　　　　　　　　　　确定是否封闭的元素节点
static bool IsEmptyElement(string name); 　　　　　　　　　　　　确定是否一个空的元素节点。
static bool IsOverlappedClosingElement(string text); 　　　　　　　确定是否文本对应于一个节点可以保留重叠的结束标记。
void Remove(); 　　　　　　　　　　　　　　　　　　　　　　　　　　从父集合中移除调用节点
void RemoveAll(); 　　　　　　　　　　　　　　　　　　　　　　　　　移除调用节点的所有子节点以及属性
void RemoveAllChildren(); 　　　　　　　　　　　　　　　　　　　　　移除调用节点的所有子节点
HtmlNode RemoveChild(HtmlNode oldChild); 　　　　　　　　　　　　移除调用节点的指定名字的子节点
HtmlNode RemoveChild(HtmlNode oldChild, bool keepGrandChildren);移除调用节点调用名字的子节点，第二个参数确定是否连孙子节点一起移除
HtmlNode ReplaceChild(HtmlNode newChild, HtmlNode oldChild);　　将调用节点原有的一个子节点替换为一个新的节点，第二个参数是旧节点
HtmlNodeCollection SelectNodes(string xpath);　　　　　　　　　　　根据XPath获取一个节点集合
HtmlNode SelectSingleNode(string xpath); 　　　　　　　　　　　　　根据XPath获取唯一的一个节点
HtmlAttribute SetAttributeValue(string name, string value); 　　　　设置调用节点的属性
string WriteContentTo(); 　　　　　　　　　　　　　　　　　　　　　将该节点的所有子级都保存到一个字符串中。
void WriteContentTo(TextWriter outText); 　　　　　　　　　　　　　将该节点的所有子级都保存到指定的 TextWriter。
string WriteTo(); 　　　　　　　　　　　　　　　　　　　　　　　　　　将当前节点保存到一个字符串中。
void WriteTo(TextWriter outText); 　　　　　　　　　　　　　　　　　将当前节点保存到指定的 TextWriter。
void WriteTo(XmlWriter writer);

3、第一个爬虫程序

3.1在VS2017中建立一个web项目拖个服务器控件按钮上去（我VS是用2017的）

技术分享图片

3.2后台代码及解释

/// <summary>
        /// 博客园精华单机按钮
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        protected void btntwo_Click(object sender, EventArgs e)
        {
            int sum = 0;
            for (int i = 1; i < 2; i++)
            {
               

                SqlDB sb = new SqlDB();
                HtmlWeb wb = new HtmlWeb();
                string webaddress= "";
                if (i==1)
                {
                    webaddress="http://www.cnblogs.com/pick/";//为啥http://www.cnblogs.com/pick/#p10进去还是第一页
                    string webbbb = GetHTML(webaddress);
                }
                else
                {
                    webaddress = string.Format("http://www.cnblogs.com/pick/{0}", ("#p"+i.ToString()).ToString());
                    string webbbb = GetHTML(webaddress);
                }
                try
                {
                    HtmlDocument doc = wb.Load(webaddress);
               
                HtmlNode node = doc.GetElementbyId("post_list");
                if (node != null)
                {
                    foreach (HtmlNode hnode in node.ChildNodes)
                    {
                        if (hnode.Attributes["class"] == null || hnode.Attributes["class"].Value != "post_item")
                            continue;
                        HtmlNode hn = HtmlNode.CreateNode(hnode.OuterHtml);
                        //推荐
                        int recommend = Convert.ToInt32((hn.SelectSingleNode("//*[@class=\"diggnum\"]").InnerText).Trim());
                        //标题
                        string title = hn.SelectSingleNode("//*[@class=\"titlelnk\"]").InnerText;
                        //网址
                        string webhref = hn.SelectSingleNode("//*[@class=\"titlelnk\"]").Attributes["href"].Value.ToString();
                        //介绍
                        string introduce = hn.SelectSingleNode("//*[@class=\"post_item_summary\"]").InnerText;
                        string articletimetest = hn.SelectSingleNode("//*[@class=\"post_item_foot\"]").InnerText;
                            //发表时间（陈树义  发布于 2017 - 11 - 15 10:13  评论(41)阅读(7372)
                            string articletime = ((hn.SelectSingleNode("//*[@class=\"post_item_foot\"]").InnerText).Trim()).Replace("\r\n", "+");
                        //分割字符串
                        string[] st = articletime.Split(‘+‘);
                        //取出（发布于 2017 - 11 - 15 10:13）
                        string pp = (st[1].ToString()).Trim();
                        //分割字符串
                        string[] qq = pp.Split(‘ ‘);
                        //取出（2017/11/15 10 :13）
                        DateTime gg = Convert.ToDateTime(qq[1].ToString() + " " + qq[2].ToString());
                        try
                        {
                            string sql = string.Format(@"insert into CnblogsList( Recommend, Title,Contents, Introduce, WebHref, ArticleTime) values({0},‘{1}‘,‘{2}‘,‘{3}‘,‘{4}‘,‘{5}‘)", recommend, title, GetContentsString(webhref), introduce, webhref, gg);
                            sb.ExecuteNonQuery(sql);
                            sum++;
                        }
                        catch (Exception ex)
                        {
                            Response.Write(ex.Message);
                        }

                            Response.Write(GetContentsString(webhref)+"<hr /> <hr />");
                        // 陈树义  发布于 2017 - 11 - 15 10:13  评论(41)阅读(7372)
                        Response.Write("推荐：" + (hn.SelectSingleNode("//*[@class=\"diggnum\"]").InnerText)+"<br />");
                         Response.Write("标题：" + (hn.SelectSingleNode("//*[@class=\"titlelnk\"]").InnerText) + "<br />");
                        Response.Write("标题对应的网址：" + (hn.SelectSingleNode("//*[@class=\"titlelnk\"]").Attributes["href"].Value.ToString()) + "<br />");
                         Response.Write("介绍：" + (hn.SelectSingleNode("//*[@class=\"post_item_summary\"]").InnerText) + "<br />");
                         Response.Write("时间：" + (hn.SelectSingleNode("//*[@class=\"post_item_foot\"]").InnerText) + "<br /><hr />");
                    }
                }
                else
                {
                    Response.Write("节点为空  +++++  出错节点Iiiii是：" + i.ToString() + "<br />  网址：" + webaddress.ToString() + "<br />  插入数据："+ sum +"条");
                    return;
                }
                }
                catch (Exception esz)
                {
                    Response.Write(esz.Message);
                }

            }
        }

这是获取网页源码的代码

/// <summary>
        /// 获取网页源码
        /// </summary>
        /// <param name="url"></param>
        /// <returns></returns>
        public string GetHTML(string url)
        {
            WebClient web = new WebClient();
            web.Encoding = Encoding.UTF8;
            string  buffer = web.DownloadString(url);
            return buffer;
        }

上面的for循环目的是获取精华区后面页数的内容，但是效果并不是这样的

技术分享图片

我早谷歌上F12调试发现并不是这样的额请求地址不对。为以为在后面加?PageIndex= XX就可以实现还是不可以因为这是经过处理的，在Header上面有地址https://www.cnblogs.com/mvc/AggSite/PostList.aspx你们仔细就可以看到。这样做了如果页数写多了就会重复出现第一页的内容数据库中是保存的数据库的表结构我上图

技术分享图片

我一弄才发现原来这个地址是博客园里面的内容时刻更新的。经过处理取出精华区的。一次去可以取出2天的内容不管是发布在博客园首页的还是没有发布在首页的都有。我就爬虫爬了一次试试看这是第二个按钮的源码

 /// <summary>
        /// 博客园数据最近大约2天
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        protected void BtnNowTowDay_Click(object sender, EventArgs e)
        {
            int sum = 0;
            for (int i = 1; i < 200; i++)
            {

                //这是SqlDB类
                SqlDB sb = new SqlDB();
                //实例HtmlWdb
                HtmlWeb wb = new HtmlWeb();
                //网址
                string webaddress = "";
                    webaddress = string.Format("https://www.cnblogs.com/mvc/AggSite/PostList.aspx?PageIndex={0}", + i);
                //网页源码 有html的
                    string webbbb = GetHTML(webaddress);
                try
                {
                    HtmlDocument doc = wb.Load(webaddress);
                    //获取div[@class=‘post_item的上级目录
                    //这个可以根据节点 ID选择 建议多看一下Xpath 就好理解了
                    HtmlNode node = doc.DocumentNode.SelectSingleNode("//div[@class=‘post_item‘]").SelectSingleNode("..");

                    //HtmlNode node = doc.GetElementbyId("#id");
                    
                    if (node != null)
                    {
                        foreach (HtmlNode hnode in node.ChildNodes)
                        {
                            if (hnode.Attributes["class"] == null || hnode.Attributes["class"].Value != "post_item")
                                continue;
                            HtmlNode hn = HtmlNode.CreateNode(hnode.OuterHtml);
                            //推荐
                            int recommend = Convert.ToInt32((hn.SelectSingleNode("//*[@class=\"diggnum\"]").InnerText).Trim());
                            //标题
                            string title = hn.SelectSingleNode("//*[@class=\"titlelnk\"]").InnerText;
                            //网址
                            string webhref = hn.SelectSingleNode("//*[@class=\"titlelnk\"]").Attributes["href"].Value.ToString();
                            //介绍
                            string introduce = hn.SelectSingleNode("//*[@class=\"post_item_summary\"]").InnerText;
                            string articletimetest = hn.SelectSingleNode("//*[@class=\"post_item_foot\"]").InnerText;
                            //发表时间（陈树义  发布于 2017 - 11 - 15 10:13  评论(41)阅读(7372)
                            string articletime = ((hn.SelectSingleNode("//*[@class=\"post_item_foot\"]").InnerText).Trim()).Replace("\r\n", "+");
                            //分割字符串
                            string[] st = articletime.Split(‘+‘);
                            //取出（发布于 2017 - 11 - 15 10:13）
                            string pp = (st[1].ToString()).Trim();
                            //分割字符串
                            string[] qq = pp.Split(‘ ‘);
                            //取出（2017/11/15 10 :13）
                            DateTime gg = Convert.ToDateTime(qq[1].ToString() + " " + qq[2].ToString());
                            try
                            {
                                string sql = string.Format(@"insert into CnblogsList( Recommend, Title,Contents, Introduce, WebHref, ArticleTime) values({0},‘{1}‘,‘{2}‘,‘{3}‘,‘{4}‘,‘{5}‘)", recommend, title, GetContentsString(webhref), introduce, webhref, gg);
                                sb.ExecuteNonQuery(sql);
                                sum++;
                            }
                            catch (Exception ex)
                            {
                                Response.Write(ex.Message);
                            }
                        }
                    }
                    else
                    {
                        Response.Write("节点为空  +++++  出错节点Iiiii是：" + i.ToString() + "<br />  网址：" + webaddress.ToString() + "<br />  插入数据：" + sum + "条");
                        return;
                    }
                }
                catch (Exception esz)
                {
                    Response.Write(esz.Message);
                }
            }
        }

下面是住区自己博客园的后台

/// <summary>
        /// 抓取自己博客园的
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        protected void btnWY_Click(object sender, EventArgs e)
        {
            SqlDB sb = new SqlDB();
            HtmlWeb wh = new HtmlWeb();
            HtmlDocument doc = wh.Load("http://www.cnblogs.com/w5942066/");
            HtmlNode node = doc.DocumentNode.SelectSingleNode("//div[@class=‘day‘]").SelectSingleNode("..");
            if(node !=null)
            {
                foreach(HtmlNode hn in node.ChildNodes)
                {
                    if(hn.Attributes["class"] == null || hn.Attributes["class"].Value!="day")
                    {
                        continue;
                    }
                    HtmlNode hnn = HtmlNode.CreateNode(hn.OuterHtml);
                    //shijian
                    string  recommend = hnn.SelectSingleNode("//*[@class=\"dayTitle\"]").InnerText;
                    //标题
                    string title = hnn.SelectSingleNode("//*[@class=\"postTitle\"]").InnerText;
                    //网址
                    string webhref = hnn.SelectSingleNode("//*[@class=\"postTitle2\"]").Attributes["href"].Value.ToString();
                    //介绍
                    string introduce = hnn.SelectSingleNode("//*[@class=\"c_b_p_desc\"]").InnerText;
                    //时间
                    //  string articletimetest = hn.SelectSingleNode("//*[@class=\"postDesc\"]").InnerText;
                    //发表时间（陈树义  发布于 2017 - 11 - 15 10:13  评论(41)阅读(7372)
                    // string articletime = ((hn.SelectSingleNode("//*[@class=\"postDesc\"]").InnerText).Trim()).Replace("\r\n", "+");
                    //分割字符串
                    //string[] st = articletime.Split(‘+‘);
                    //取出（发布于 2017 - 11 - 15 10:13）
                    //string pp = (st[1].ToString()).Trim();
                    //分割字符串
                    //string[] qq = pp.Split(‘ ‘);
                    //取出（2017/11/15 10 :13）
                    DateTimeFormatInfo dtFormat = new DateTimeFormatInfo();
                    dtFormat.ShortDatePattern = "yyyy年MM月dd日";
                    DateTime dt = Convert.ToDateTime(recommend, dtFormat);
                    try
                    {
                        string sql = string.Format(@"insert into CnblogsList( Recommend, Title,Contents, Introduce, WebHref, ArticleTime) values({0},‘{1}‘,‘{2}‘,‘{3}‘,‘{4}‘,‘{5}‘)", 520, title, GetContentsString(webhref), introduce, webhref, dt);
                        sb.ExecuteNonQuery(sql);
                    }
                    catch (Exception ex)
                    {
                        Response.Write(ex.Message);
                    }

                }
            }

3.3列表显示出来

这里我用的是一个原始的GridView前台页面代码

<form id="form1" runat="server">
        <div class="main">
            <h1 style="height:35px;line-height:30px;text-align:center;padding-top:50px;">博客园文章列表</h1><br /><hr />
            <asp:GridView ID="gdMain"  runat="server" Width="100%" AllowPaging="True" AutoGenerateColumns="False" DataKeyNames="ID" DataSourceID="SqlDataSource1" CellPadding="4" ForeColor="#333333" GridLines="None" PageSize="30" >
                <AlternatingRowStyle BackColor="White" />
                <Columns>
                    
                    <asp:BoundField HeaderStyle-Width="3%" ItemStyle-HorizontalAlign="Center"  DataField="ID" HeaderText="编号" InsertVisible="False" ReadOnly="True" SortExpression="ID" >
                    
<HeaderStyle Width="10%"></HeaderStyle>

<ItemStyle HorizontalAlign="Center"></ItemStyle>
                    </asp:BoundField>
                    
                    <asp:BoundField ItemStyle-Wrap="false" HeaderStyle-Width="10%" ItemStyle-HorizontalAlign="Left" DataField="Title" HeaderText="标题" SortExpression="Title" >
<HeaderStyle Width="10%"></HeaderStyle>

<ItemStyle HorizontalAlign="Center"></ItemStyle>
                    </asp:BoundField>
                    <asp:BoundField ItemStyle-Wrap="false"  HeaderStyle-Width="30%"  ItemStyle-HorizontalAlign="left" DataField="Contents" HeaderText="内容" SortExpression="Contents" >
<HeaderStyle Width="30%"></HeaderStyle>

<ItemStyle HorizontalAlign="Center"></ItemStyle>
                    </asp:BoundField>
                    <asp:BoundField ItemStyle-Wrap="false"  HeaderStyle-Width="20%" ItemStyle-HorizontalAlign="left"  DataField="WebHref" HeaderText="原文网址" SortExpression="WebHref" >
<HeaderStyle Width="20%"></HeaderStyle>

<ItemStyle HorizontalAlign="Center"></ItemStyle>
                    </asp:BoundField>
                    <asp:BoundField  ItemStyle-Wrap="false"  HeaderStyle-Width="10%"  ItemStyle-HorizontalAlign="Center" DataField="ArticleTime" HeaderText="时间" SortExpression="ArticleTime" >
<HeaderStyle Width="10%"></HeaderStyle>

<ItemStyle HorizontalAlign="Center"></ItemStyle>
                    </asp:BoundField>
                    <asp:HyperLinkField DataNavigateUrlFields="ID" 
     DataNavigateUrlFormatString="PageInfo.aspx?ID={0}" HeaderStyle-Width="5%"  ItemStyle-HorizontalAlign="Center"
     Text="详细" DataTextFormatString="详细"  Target="_blank"/>
                </Columns>

                <EditRowStyle BackColor="#2461BF" />
                <FooterStyle BackColor="#507CD1" Font-Bold="True" ForeColor="White" />
                <HeaderStyle BackColor="#507CD1" Font-Bold="True" ForeColor="White" />
                <PagerSettings PageButtonCount="30" />
                <PagerStyle BackColor="#2461BF" ForeColor="White" HorizontalAlign="Center" />
                <RowStyle BackColor="#EFF3FB" />
                <SelectedRowStyle BackColor="#D1DDF1" Font-Bold="True" ForeColor="#333333" />
                <SortedAscendingCellStyle BackColor="#F5F7FB" />
                <SortedAscendingHeaderStyle BackColor="#6D95E1" />
                <SortedDescendingCellStyle BackColor="#E9EBEF" />
                <SortedDescendingHeaderStyle BackColor="#4870BE" Wrap="False" />
            </asp:GridView>
            <asp:SqlDataSource ID="SqlDataSource1" runat="server" ConnectionString="<%$ ConnectionStrings:TestBaseConnectionString %>" SelectCommand="select ID,SUBSTRING(Title,0,30)AS Title,SUBSTRING(Contents,0,30)AS Contents ,SUBSTRING(Webhref,0,20)AS WebHref , ArticleTime from CnblogsList"></asp:SqlDataSource>
        </div>
    </form>

后台部分

namespace NetCrawlerTest.Winfrom
{
    public partial class CnblogListData : System.Web.UI.Page
    {
        protected void Page_Load(object sender, EventArgs e)
        {
            //if(!IsPostBack)
            //{
            //    GetData();
            //}
        }
        public void GetData()
        {
            SqlDB sb = new SqlDB();
            string _Sql = "select ID,SUBSTRING(Title,0,50)AS Title,SUBSTRING(Contents,0,60)AS Contents ,SUBSTRING(Webhref,0,50)AS WebHref , ArticleTime from CnblogsList";
                gdMain.DataSource = sb.ExecuteDataSet(_Sql).Tables[0];
                gdMain.DataBind();
        }
    }
}

好了来看看效果

技术分享图片

3.4具体的博客显示

前台代码就是上面图片中的PageInfo页面

 <form id="form1" runat="server">
        <div class="main">
            <h1 style="height:35px;line-height:30px;text-align:center; padding-top:50px"><%=GetTitle() %></h1><br />
            <div style="text-align:right;">
                 <a href="CnblogListData.aspx" target="_parent">返回列表</a>&nbsp &nbsp &nbsp &nbsp &nbsp &nbsp 
                <a href="PageInfo.aspx?ID=<%=UpIDS() %>" style="width:100px; ">上一条</a>&nbsp &nbsp | &nbsp &nbsp
                <a href="PageInfo.aspx?ID=<%=UpIDX() %>" style="width:100px;">下一条</a>&nbsp &nbsp

            </div><hr />
            
            <div style="text-align:center;">发表时间：<%=GetTime() %></div><br />
            <div style="margin:10px 10px 30px 10px"><%=GetContens() %></div><br />
            <div style="text-align:right"><a href="<%= GetWebhref() %>" target="_blank">原文链接：</a><%= GetWebhref() %></div><br /><hr />
            <div style="text-align:right;">
                <a href="CnblogListData.aspx" target="_parent">返回列表</a>&nbsp &nbsp &nbsp &nbsp &nbsp &nbsp 
                <a href="PageInfo.aspx?ID=<%=UpIDS() %>" style="width:100px; ">上一条</a>&nbsp &nbsp | &nbsp &nbsp
                <a href="PageInfo.aspx?ID=<%=UpIDX() %>" style="width:100px;">下一条</a>&nbsp &nbsp

            </div>
            
        </div>
        <div  style="height:50px;text-align:center;color:#fbe8e8;background-color:#000000;width:100%;line-height:50px;font-weight:600; position:fixed; border-bottom:2px #ffffff solid; bottom:0px;">行到水穷处，坐看云起时！转载声明：技术需要共享，欢迎转载！但请注明版权及出处！
            </div>
        
    </form>

后台代码

  public partial class PageInfo : System.Web.UI.Page
    {
        protected void Page_Load(object sender, EventArgs e)
        {

        }
        SqlDB sb = new SqlDB();
        //public int Sum = 0;
        /// <summary>
        /// 获取标题
        /// </summary>
        /// <returns></returns>
        public string GetTitle()
        {
            string _sql = string.Format(@"SELECT TITLE FROM CNBLOGSLIST WHERE ID={0}", GetID());
            return sb.ExecuteDataTable(_sql).Rows[0][0].ToString();
             
        }
        /// <summary>
        /// 接收ID
        /// </summary>
        /// <returns></returns>
        public  int GetID()
        {
            return Convert.ToInt32(Request.QueryString["ID"].ToString());
        }
        /// <summary>
        /// 获取时间
        /// </summary>
        /// <returns>时间</returns>
        public string GetTime()
        {
            string _sql = string.Format(@"SELECT ARTICLETIME FROM CNBLOGSLIST WHERE ID={0}", GetID());
            return sb.ExecuteDataTable(_sql).Rows[0][0].ToString();
        }
        /// <summary>
        /// 获取内容
        /// </summary>
        /// <returns>内容</returns>
        public string GetContens()
        {
            string _sql = string.Format(@"SELECT CONTENTS FROM CNBLOGSLIST WHERE ID={0}", GetID());
            return (sb.ExecuteDataTable(_sql).Rows[0][0].ToString()).Replace("&prime", "‘") ;
        }
        /// <summary>
        /// 获取原网址
        /// </summary>
        /// <returns>网址</returns>
        public string GetWebhref()
        {
            string _sql = string.Format(@"SELECT WEBHREF FROM CNBLOGSLIST WHERE ID={0}", GetID());
            return sb.ExecuteDataTable(_sql).Rows[0][0].ToString();
        }
        /// <summary>
        /// 上一条
        /// </summary>
        /// <returns>上一条信息的ID</returns>
        public int UpIDS()
        {
            try
            {
                string _sql = string.Format(@"SELECT top 1 ID FROM CNBLOGSLIST AS n WHERE n.ID < {0} ORDER BY n.ID DESC ", GetID());
                if (sb.ExecuteDataTable(_sql).Rows[0][0].ToString() != null)
                {
                    return Convert.ToInt32(sb.ExecuteDataTable(_sql).Rows[0][0].ToString());
                }
                else
                {
                    return GetID();
                }
            }
            catch(Exception)
            {
                return GetID();
            }
            
        }
        /// <summary>
        /// 下一条
        /// </summary>
        /// <returns>下一条信息的ID</returns>
        public int UpIDX()
        {
            try
            {

                string _sql = string.Format(@"SELECT top 1 ID FROM CNBLOGSLIST AS n WHERE n.ID > {0} ORDER BY n.ID ASC ", GetID());

                if (sb.ExecuteDataTable(_sql).Rows[0][0].ToString() != null)
                {
                    return Convert.ToInt32(sb.ExecuteDataTable(_sql).Rows[0][0].ToString());
                }
                else
                {
                    return GetID();
                }
            }
            catch(Exception)
            {
                return GetID();
            }
        }

这些代码都很基础就不一一解释了实现的效果还是可以的，文字都在，大部分的图片都显示不出来

技术分享图片

希望看到的朋友能有所收获，别拿去干坏事也干不了啥坏事，其他的网站维护你就弄不到了还要研究的。对此感谢博客园提供平台让我学有所获。初学者，大神勿喷谢谢！有兴趣的朋友不懂的可以留言。

ASP.NET网络爬虫小研究 HtmlAgilityPack基础，爬取数据保存在数据库中再显示再自己的网页中

标签：comm content dex info trim dataset 第一个下载 attribute

原文地址：https://www.cnblogs.com/w5942066/p/8361585.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行