原文:使用HttpWebRequest和HtmlAgilityPack抓取网页（拒绝乱码，拒绝正则表达式）废话不多说， 直接说需求。公司的网站需要抓取其他网站的文章，但任务没到我这，同事搞了一下午没搞出来。由于刚刚到公司， 想证明下自己，就把活揽过来了。因为以前做过，觉得应该很简单，但当我开始做的时...
分类：
Web程序 时间：
2014-06-27 20:32:13
阅读次数：
270
作者：郝喜路 个人主页： http://www.cnicode.com 博客地址：http://haoxilu.cnblogs.com 时间：2014年6月26日 19:25:02 刚刚在博客园 看到一篇博文《使用HttpWebRequest和HtmlAgilityPack抓取网页（拒绝乱码...
分类：
Web程序 时间：
2014-06-27 11:38:56
阅读次数：
324
废话不多说， 直接说需求。公司的网站需要抓取其他网站的文章，但任务没到我这，同事搞了一下午没搞出来。由于刚刚到公司， 想证明下自己，就把活揽过来了。因为以前做过，觉得应该很简单，但当我开始做的时候，我崩溃了，http请求后，得到的是字符串竟然是乱码，然后就各种百度(谷歌一直崩溃中)，最后找到了原因。...
分类：
Web程序 时间：
2014-06-26 12:57:58
阅读次数：
373
废话不多说， 直接说需求。公司的网站需要抓取其他网站的文章，但任务没到我这，同事搞了一下午没搞出来。由于刚刚到公司， 想证明下自己，就把活揽过来了。因为以前做过，觉得应该很简单，但当我开始做的时候，我崩溃了，http请求后，得到的是字符串竟然是乱码，然后就各种百度(谷歌一直崩溃中)，最后找到了原因。...
分类：
Web程序 时间：
2014-06-26 12:53:48
阅读次数：
232
这个需求来自于我最近练手的一个项目，在项目中我需要将一些自己发表的和收藏整理的网文集中到一个地方存放，如果全部采用手工操作工作量大而且繁琐，因此周公决定利用C#来实现。在很多地方都需要验证用户身份才可以进行下一步操作，这就免不了POST请求来登录，在实际过程中发现有些网站登录是HTTPS形式的，在解...
分类：
Web程序 时间：
2014-06-25 18:51:15
阅读次数：
259
HttpWebRequest向路由器提交基本身份验证 服务端IIS设置为不允许匿名访问，只选择了基本身份验证，客户端使用HttpWebRequest发送一个get请求，请求一个页面。 基本身份验证，客户端直接把用户的用户名和密码简单的转换为base64编码后发送到服务端，属于明码传送，不具安全性.....
分类：
Web程序 时间：
2014-06-18 19:05:53
阅读次数：
273
// requestUrl：地址?xx=xx private string
GetContentFromUrll(string requestUrl) { string _StrResponse = "";
HttpWebRequest...
分类：
其他好文 时间：
2014-06-10 16:22:14
阅读次数：
129
菜鸟HtmlAgilityPack初体验。。。弱弱的代码。。。Html Agility
Pack是一个开源项目，为网页提供了标准的DOM API和XPath导航。使用WebBrowser和HttpWebRequest下载的网页可以用Html
Agility Pack来解析。HtmlAgilityPa...
分类：
Web程序 时间：
2014-06-08 20:07:13
阅读次数：
502
平时也经常采集网站数据，也做模拟登录，但一般都是html控件POST到页面登录；还没有遇到用户服务器控件button按钮点击事件登录的，今天像往常一样POST传递参数，但怎么都能登录不了；最后发现还有两个参数需要传，__EVENTVALIDATION和__VIEWSTATE
在传的过程中需要对...
分类：
Web程序 时间：
2014-06-04 20:43:42
阅读次数：
376
最近调试原来的微信模拟登陆时发生了“基础连接已关闭，发送时发生错误”的错误提示，原来都是好好的，只是很久没用了。出错代码如下：HttpWebRequest
req = (HttpWebRequest)HttpWebRequest.Create("https://mp.weixin.qq.com/cg...
分类：
微信 时间：
2014-05-30 09:18:01
阅读次数：
709
