原文:使用HttpWebRequest和HtmlAgilityPack抓取网页（拒绝乱码，拒绝正则表达式）废话不多说， 直接说需求。公司的网站需要抓取其他网站的文章，但任务没到我这，同事搞了一下午没搞出来。由于刚刚到公司， 想证明下自己，就把活揽过来了。因为以前做过，觉得应该很简单，但当我开始做的时...
分类：
Web程序 时间：
2014-06-27 20:32:13
阅读次数：
270
废话不多说， 直接说需求。公司的网站需要抓取其他网站的文章，但任务没到我这，同事搞了一下午没搞出来。由于刚刚到公司， 想证明下自己，就把活揽过来了。因为以前做过，觉得应该很简单，但当我开始做的时候，我崩溃了，http请求后，得到的是字符串竟然是乱码，然后就各种百度(谷歌一直崩溃中)，最后找到了原因。...
分类：
Web程序 时间：
2014-06-26 12:57:58
阅读次数：
373
废话不多说， 直接说需求。公司的网站需要抓取其他网站的文章，但任务没到我这，同事搞了一下午没搞出来。由于刚刚到公司， 想证明下自己，就把活揽过来了。因为以前做过，觉得应该很简单，但当我开始做的时候，我崩溃了，http请求后，得到的是字符串竟然是乱码，然后就各种百度(谷歌一直崩溃中)，最后找到了原因。...
分类：
Web程序 时间：
2014-06-26 12:53:48
阅读次数：
232
在前几篇文章中（[搜房网房产数据采集程序demo--GeckoWebBrowser实例]）都有提到一个解析html的C#类库HtmlAgilityPack，今天终于有时间整理一下，并把Demo分享一下。HtmlAgilityPack是一个基于.Net的、第三方免费开源的微型类库，主要用于在服务器端解...
分类：
Web程序 时间：
2014-06-16 00:03:53
阅读次数：
452
在以前的项目中周公曾有解析HTML的情况，当时是采用正则表达式一步步将无关的HTML注释及JS代码部分删除掉，然后再用正则表达式找出需要提取的部分，可以说使用正则表达式来做是一个比较繁琐的过程，特别是对于正则表达式不是很熟悉或者要处理的HTML很复杂的情况下。前一阵子周公还是通过这个办法将http:...
分类：
Web程序 时间：
2014-06-16 00:00:02
阅读次数：
325
最近在弄网页爬虫这方面的，上网看到关于htmlagilitypack搭配scrapysharp的文章，于是决定试一试~于是到https://www.nuget.org/packages/ScrapySharp去看看，看到这句下载提示：To
install ScrapySharp, run the f...
分类：
Web程序 时间：
2014-06-08 20:23:28
阅读次数：
402
菜鸟HtmlAgilityPack初体验。。。弱弱的代码。。。Html Agility
Pack是一个开源项目，为网页提供了标准的DOM API和XPath导航。使用WebBrowser和HttpWebRequest下载的网页可以用Html
Agility Pack来解析。HtmlAgilityPa...
分类：
Web程序 时间：
2014-06-08 20:07:13
阅读次数：
502
html源代码结构解析，以抽取特定节点内容：方案一： 正则表达式方案二：
HtmlAgilityPack库 :
HtmlAgilityPack是使用XPath语法,HtmlAgilityPack是一个开源的.NET类库，它的主页是http://htmlagilitypack.codeplex.com...
分类：
Web程序 时间：
2014-05-18 19:52:59
阅读次数：
366
是不是有人相抓取网页上面的内容，放到别的网站上面。下面我给大家介绍一种最常用的方法：
用HtmlAgilityPack 组件。 public String GetHtml()
{
string url = "http://t.news.fx168.com/";
HttpWebRequest request = HttpWebRequ...
分类：
Web程序 时间：
2014-05-04 00:16:12
阅读次数：
368
推荐阅读：HtmlAgilityPack入门教程1HtmlAgilityPack入门教程2向HtmlAgilityPack道歉：解析HTML还是你好用获取html中meta标签中的content的内容网易新闻页面信息抓取
-- htmlagilitypack搭配scrapysharpHTML解析利器...
分类：
Web程序 时间：
2014-05-03 22:37:47
阅读次数：
351
