pycharm中控制台运行后出现乱码。需要文件>>设置>>编辑器>>文件编码爬取网页#-*-coding:utf-8-*-
importrequests
#中文编码UTF-8
importsys
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
#模拟浏览器
hea={‘User-Agent‘:‘Mozilla/5.0(WindowsNT6.2;WOW64)..
分类：
编程语言 时间：
2015-10-03 06:16:21
阅读次数：
342
1> 删除Agent节点的UUID # rm -rf /opt/cm-5.4.7/lib/cloudera-scm-agent/*2> 清空主节点CM数据库 进入主节点的Mysql数据库，然后drop database cm;3> 删除Agent节点namenode和datanode节点信息 ...
分类：
其他好文 时间：
2015-09-29 16:30:41
阅读次数：
761
一、UserAgentUtils UserAgentUtils是一个处理user-agent 字符的一个工具。可以用来实时地处理http请求和分析http请求日志文件。这里可以使用UserAgentUtils对访问用户的浏览器类型、操作系统、设备种类等进行统计分析，从而为网址的用户量的增加，做出.....
分类：
其他好文 时间：
2015-09-29 16:10:51
阅读次数：
118
GET/HTTP/1.1Host: www.baidu.comUser-Agent:Mozilla/5.0(Windows;U;WindowsNT5.1;en-US;rv:1.7.6)Gecko/20050225Firefox/1.0.1Connection:Keep-AlivePOST/HTTP/...
分类：
Web程序 时间：
2015-09-26 23:52:54
阅读次数：
220
问题：SQL Server 2014，使用Job定时从Linked Server同步数据，执行时报"Login failed for user '域帐号'. [SQLSTATE 28000] (Error 18456). "解决：通过配置管理工具修改SQL Server Agent服务启动帐号为域帐...
分类：
数据库 时间：
2015-09-26 17:17:52
阅读次数：
273
禁用一些UserAgent可以节省一些流量也可以防止一些恶意的访问，尤其是部份搜索引擎爬虫，例如我们的网站就是一个地方性站点，没有必要被一些国外的搜索引擎爬虫索引，都可以禁掉，具体操作如下：1、编辑该文件：#vi/usr/local/nginx/conf/vhosts/yourpool.conf2、增加以下内容(..
分类：
其他好文 时间：
2015-09-25 04:01:45
阅读次数：
238
apache的rewrite是支持或者的，用个OR就可以，如果不加OR，多个RewriteCond罗列累加就是并且的意思。然后nginx的rewrite就没有这么好了。那么如何去实现这样复杂的功能呢？这就用到了标记功能。现在出一个简单的需求：要求访问uri以/abc/开头的请求，并且user_agent带有ie6或者..
分类：
其他好文 时间：
2015-09-25 04:01:42
阅读次数：
189
USER-AGENT是什么？USER-AGENT：记录请求所来自的浏览器。User-Agent分析网站http://www.useragentstring.com/通过解析User-Agent可以知道访问者信息。
分类：
其他好文 时间：
2015-09-24 12:55:26
阅读次数：
120
1. 启动QuickBuild server, 并且login to QuickBuild as administrator, 然后打开Gridtab 点击download build agent, 下载 buildagent 软件,并解压在 安装目录下carloz@linux:~/progra.....
分类：
系统相关 时间：
2015-09-24 00:37:06
阅读次数：
362
今天发现图片验证码，老是验证不对；验证码图片是<img src="http://验证码系统"/>调用验证码系统生成； 结果看了nginx日志access.log 出现不少同一时间，请求了2次图片验证码，而且请求ip和agent不一样； 情况基本...
分类：
其他好文 时间：
2015-09-23 21:19:53
阅读次数：
281
