起因:工作需要,我需要每5分钟从hbase中,导出一部分数据,然后导入到ES中,但是在开始阶段编写的python脚本,我发现从hbase读取数据的速度较慢,耗费大量的时间,影响整个导数过程,恐怕无法在5分钟内完成导数工作
在咨询了老人后,采取部门优化策略,并记录了实验结果。...
分类:
其他好文 时间:
2014-10-24 14:42:18
阅读次数:
205
Django是一个开放源代码的Web应用框架,由Python写成。采用了MVC的软件设计模式,即模型M,视图V和控制器C。
它最初是被开发来用于管理劳伦斯出版集团旗下的一些以新闻内容为主的网站的,即是CMS(内容管理系统)软件。
并于2005年7月在BSD许可证下发布。这套框架是以比利时的吉普赛爵士吉他手Django Reinhardt来命名的。
——百度百科
官网下载:https...
分类:
编程语言 时间:
2014-10-23 09:33:42
阅读次数:
231
Python自带一个轻量级的关系型数据库SQLite。这一数据库使用SQL语言。
SQLite作为后端数据库,可以搭配Python建网站,或者制作有数据存储需求的工具。
SQLite还在其它领域有广泛的应用,比如HTML5和移动端。Python标准库中的sqlite3提供该数据库的接口。
一 数据库设计
我将创建一个简单的关系型数据库,为一个书店存储书的分类和价格。
数据库中包含...
分类:
数据库 时间:
2014-10-22 08:45:43
阅读次数:
224
上一篇我们在不依赖框架和CGI的情况下,仅使用socket接口,完成了一个可以处理HTTP请求的Python服务器。
基于此,任何一台装有操作系统(推荐Linux)和Python的计算机都可以作为HTTP服务器使用,来架设你的网站。
我们将在这里不断改写上一篇文章中的程序,并引入更高级的Python包,以写出更成熟的Python服务器。
一 支持POST
我们首先改写原文中的HTTP服务器...
分类:
编程语言 时间:
2014-10-21 08:55:56
阅读次数:
225
我们可以使用subprocess包来创建子进程,但这个包有两个很大的局限性:
1) 我们总是让subprocess运行外部的程序,而不是运行一个Python脚本内部编写的函数。
2) 进程间只通过管道进行文本交流。
以上限制了我们将subprocess包应用到更广泛的多进程任务。
这样的比较实际是不公平的,因为subprocessing本身就是设计成为一个shell,而不是一个多进程管理包...
分类:
编程语言 时间:
2014-10-20 08:40:19
阅读次数:
273
python脚本实现集群检测和管理 场景是这样的:一个生产机房,会有很多的测试机器和生产机器(也就是30台左右吧),由于管理较为混乱导致了哪台机器有人用、哪台机器没人用都不清楚,从而产生了一个想法--利用一台机器来管理所有的机器,记录设备责任人、设备使用状态等等信息....那么,为什么选择pyth....
分类:
编程语言 时间:
2014-10-19 14:08:56
阅读次数:
187
前面几节看得真心累,现在先来点简单容易理解的内容。
一 math包
math包主要处理数学相关的运算。
常数
math.e # 自然常数e
math.pi # 圆周率pi
运算函数
math.ceil(x) # 对x向上取整,比如x=1.2,返回2
math.floor(x) # 对x向下取整,比如x=1.2,返回1
math.pow(...
分类:
编程语言 时间:
2014-10-18 08:37:49
阅读次数:
239
Python的os包中有查询和修改进程信息的函数。
进程信息
os包中相关函数如下:
uname() 返回操作系统相关信息,类似于Linux上的uname命令。
umask() 设置该进程创建文件时的权限mask,类似于Linux上的umask命令。
get*() 查询 (*由以下代替)
uid, euid, resuid, gid, egid, resgid :权限相关,其...
分类:
编程语言 时间:
2014-10-17 11:03:44
阅读次数:
303
signal包负责在Python程序内部处理信号,典型的操作包括预设信号处理函数,暂停并等待信号,以及定时发出SIGALRM等。
要注意,signal包主要是针对UNIX平台(比如Linux, MAC OS),而Windows内核中由于对信号机制的支持不充分,
所以在Windows上的Python不能发挥信号系统的功能。
定义信号名
signal包定义了各个信号名及其对应的整数,比如...
分类:
编程语言 时间:
2014-10-17 10:48:34
阅读次数:
189
Python主要通过标准库中的threading包来实现多线程。
当今网络时代,每个服务器都会接收到大量的请求。服务器可以利用多线程的方式来处理这些请求,以提高对网络端口的读写效率。
Python是一种网络服务器的后台工作语言 (比如豆瓣网),所以多线程也就很自然被Python语言支持。
多线程售票以及同步
我们使用Python来实现Linux多线程与同步文中的售票程序。
我们使用m...
分类:
编程语言 时间:
2014-10-17 10:18:21
阅读次数:
233