网易新闻页面信息抓取 -- htmlagilitypack搭配scrapysharp

PM> Install-Package ScrapySharp

PM> Install-Package HtmlAgilityPack
正在安装“HtmlAgilityPack 1.4.6”。
已成功安装“HtmlAgilityPack 1.4.6”。
正在将“HtmlAgilityPack 1.4.6”添加到 WindowsFormsDemo0320。
已成功将“HtmlAgilityPack 1.4.6”添加到 WindowsFormsDemo0320。

PM> Install-Package ScrapySharp
正在尝试解析依赖项“HtmlAgilityPack (≥ 1.4.6)”。
正在安装“ScrapySharp 2.2.63”。
已成功安装“ScrapySharp 2.2.63”。
正在将“ScrapySharp 2.2.63”添加到 WindowsFormsDemo0320。
已成功将“ScrapySharp 2.2.63”添加到 WindowsFormsDemo0320。

String title = doc.DocumentNode.SelectSingleNode("//h1[@id=‘h1title‘]").InnerText;

html.CssSelect("p").CssSelectAncestors("div#endText");

<div id="endText"></p><p>人民网兰州4月13日电 兰州市今天下午召开新闻发布会，初步查明了导致自流沟内水体苯超标的原因。根据环保专家现场初步分析判断，周边地下含油污水是引起自流沟内水体苯超标的直接原因。</p><p>根据目前的调查情况初步判定，自流沟周边地下含油污水形成的原因有三点：一是原兰化公司原料动力厂原油蒸馏车间R205A#渣油罐曾于1987年12月28日8时50分发生物理爆破事故，罐体破裂造成90立方渣油泻出，其中有34吨渣油跑料未能回收，渗入地下；二是原兰化公司原料动力厂原油蒸馏车间泵B-113出口总管曾于2002年4月3日发生开裂着火，泄漏的渣油及救火过程中产生的大量消防污水渗入地下。</p><p>另据中新网兰州4月13日电&nbsp; 兰州市“4·11”局部自来水苯指标超标事故应急处置领导小组副组长郑志强13日说，调查组从11日下午3时开始展开调查工作，采取开挖深坑的方法，查找到了导致水体苯超标的方位。根据环保专家现场初步分析判断，周边地下含油污水是引起自流沟内水体苯超标的直接原因。</p><p>兰州官方通报称，根据目前的调查情况初步判定，自流沟周边地下含油污水的形成原因有两个：</p><p>一是原兰化公司原料动力厂原油蒸馏车间R205A#渣油罐(该址原为兰化公司原料动力厂250万吨/年炼油装置，该装置建于1982年，2003年停用，2006年拆除。拆除后，在原址建成现有的40万吨/年芳烃抽提装置，罐区设计分别储存馏份油、轻油、渣油)，曾于1987年12月28日8时50分发生物理爆破事故，罐体破裂造成90立方渣油泄出，其中有34吨渣油跑料未能回收，渗入地下。</p><p><!-- AD200x300_2 -->
<div class="gg200x300">
<iframe src="http://g.163.com/r?site=netease&affiliate=news&cat=article&type=logo300x250&location=13" width="300" height="250" frameborder="no" border="0" marginwidth="0" marginheight="0" scrolling="no"> </iframe>
</div><p>二是原兰化公司原料动力厂原油蒸馏车间泵B—113出口总管曾于2002年4月3日发生开裂着火，泄漏的渣油(具体数量当时未统计)及救火过程中产生的大量消防污水渗入地下。</p><p>郑志强说，目前兰州石化现有生产装置及罐区运行正常，未发现物料及产品泄漏现象。生产区域内雨排井、化污系统水封井未发现物料泄漏现象，消防井内发现有少量飘油。</p><p>事故调查组下一步调查工作的重点是，对从开挖深坑中提取的含油废水组份进行化验，进一步从技术层面核实地下含油污水与自流沟内苯超标水体的关联性。同时，对4号、3号自流沟内的具体泄漏点位进行实地勘查核实，并对造成局部自来水苯超标事件的相关责任单位和责任人进行进一步的调查取证。(完)</p>
 <div class="ep-source cDGray">
                    <span class="left"><a href="http://news.163.com/"><img src="http://img1.cache.netease.com/cnews/css13/img/end_news.png" alt="netease" width="13" height="12" class="icon"></a> 本文来源：人民网  作者：高翔、银燕、苗亮军</span>
                    <span class="ep-editor">责任编辑：NN102</span>              
 </div>
 </div>

namespace HtmlAgilityDemo 
{ 
    class Program 
    { 
        static void Main(string[] args) 
        { 
            var uri = new Uri("http://news.163.com/14/0413/18/9PNVIBV000014JB6.html"); 
            var browser1 = new ScrapingBrowser(); 
            var html1 = browser1.DownloadString(uri); 
            var doc = new HtmlDocument(); 
            doc.LoadHtml(html1); 
            var html = doc.DocumentNode;

            var title = html.CssSelect("title"); 
            foreach (var htmlNode in title) 
            { 
                Console.WriteLine(htmlNode.InnerText); 
            }
           
            var ps = html.CssSelect("p").CssSelectAncestors("div#endText");
            foreach (var htmlNode in ps) 
            { 
                Console.WriteLine(htmlNode.InnerHtml); 
            } 
        } 
    } 
}

兰州官方公布自流沟周边地下含油污水形成原因_网易新闻中心
                
人民网兰州4月13日电 兰州市今天下午召开新闻发布会，初步查明了导致自流沟内水体苯超标的原因。根据环保专家现场初步分析判断，周边地下含油污水是引起自流沟内水体苯超标的直接原因。根据目前的调查情况初步判定，自流沟周边地下含油污水形成的原因有三点：一是原兰化公司原料动力厂原油蒸馏车间R205A#渣油罐曾于1987年12月28日8时50分发生物理爆破事故，罐体破裂造成90立方渣油泻出，其中有34吨渣油跑料未能回收，渗入地下；二是原兰化公司原料动力厂原油蒸馏车间泵B-113出口总管曾于2002年4月3日发生开裂着火，泄漏的渣油及救火过程中产生的大量消防污水渗入地下。另据中新网兰州4月13日电&nbsp; 兰州市“4·11”局部自来水苯指标超标事故应急处置领导小组副组长郑志强13日说，调查组从11日下午3时开始展开调查工作，采取开挖深坑的方法，查找到了导致水体苯超标的方位。根据环保专家现场初步分析判断，周边地下含油污水是引起自流沟内水体苯超标的直接原因。兰州官方通报称，根据目前的调查情况初步判定，自流沟周边地下含油污水的形成原因有两个：一是原兰化公司原料动力厂原油蒸馏车间R205A#渣油罐(该址原为兰化公司原料动力厂250万吨/年炼油装置，该装置建于1982年，2003年停用，2006年拆除。拆除后，在原址建成现有的40万吨/年芳烃抽提装置，罐区设计分别储存馏份油、轻油、渣油)，曾于1987年12月28日8时50分发生物理爆破事故，罐体破裂造成90立方渣油泄出，其中有34吨渣油跑料未能回收，渗入地下。<!-- AD200x300_2 --> 二是原兰化公司原料动力厂原油蒸馏车间泵B—113出口总管曾于2002年4月3日发生开裂着火，泄漏的渣油(具体数量当时未统计)及救火过程中产生的大量消防污水渗入地下。郑志强说，目前兰州石化现有生产装置及罐区运行正常，未发现物料及产品泄漏现象。生产区域内雨排井、化污系统水封井未发现物料泄漏现象，消防井内发现有少量飘油。事故调查组下一步调查工作的重点是，对从开挖深坑中提取的含油废水组份进行化验，进一步从技术层面核实地下含油污水与自流沟内苯超标水体的关联性。同时，对4号、3号自流沟内的具体泄漏点位进行实地勘查核实，并对造成局部自来水苯超标事件的相关责任单位和责任人进行进一步的调查取证。(完)                                                                                                     本文来源：人民网  作者：高翔、银燕、苗亮军     
     责任编辑：NN102                                            

foreach (HtmlNode nodeScripte in node.Descendants("script").ToList())
{
     nodeScripte.Remove();
}
foreach (HtmlNode nodeStyle in node.Descendants("style").ToList())
{
     nodeStyle.Remove();
}
foreach (HtmlNode nodeComment in node.Descendants("//comment()").ToList())
{
    nodeComment.Remove();
}

foreach(var script in doc.DocumentNode.Descendants("script").ToArray())
{
    script.Remove();
}
foreach(var style in doc.DocumentNode.Descendants("style").ToArray())
{
    style.Remove();
}
foreach(var comment in doc.DocumentNode.SelectNodes("//comment()").ToArray())
{
    comment.Remove();
}