python脚本解析日志文件入库一般有三个重要的步骤：读文件、解析文件、入库。在这三个方面下功夫，可确保我们获得最优的性能（这里不讨论并发）1 读文件：一次读一行，磁盘IO太多，效率低下；一次性读如全部文件内容，可能内存不够。采取一个折中的办法，每次读若干byte(具体大小视实际情况而定)。经过.....
分类：
编程语言 时间：
2014-06-19 06:22:34
阅读次数：
341
前言Hadoop从存储上来说，是类似于冗余磁盘阵列(RAID)的存储方式，将数据分散存储并提供以提供吞吐量，它的存储系统就是HDFS（Hadoop Distuibute Fils System）；从计算上来说，它通过MapReduce模型，将大数据的计算分发到多台计算机上完成，再将结果合并，减少计算的时间。Hadoop适合于：1、超大数据的计算；2、一次写入、多次读取的模式；3、可以跑在普通的硬件...
分类：
其他好文 时间：
2014-06-16 22:58:13
阅读次数：
250
当竞争对手的应用程序与我们的应用程序运行在同一个系统上时，我们的应用程序在内存中的敏感数据是很容易被竞争对手获取的。如果我们的应用程序符合下面几种情况之一，那么竞争对手可以获取到我们应用的敏感数据：
1）应用程序使用对象来存储敏感数据，而且在对象使用完后，对象的内容没有被清除或者对象没有被垃圾回收；
2）在操作系统运行内存管理任务或者执行休眠等功能时，应用程序的内存分页将被置换到磁盘上保存；...
分类：
编程语言 时间：
2014-06-16 19:18:30
阅读次数：
267
记录使用RedHatClusterSuite实现高可用集群，利用web服务实验。实现RHCS的集群，有三个前提条件：①每个集群都有惟一集群名称；②至少有一个fence设备；③至少应该有三个节点；两个节点的场景中要使用qdisk（仲裁磁盘）；实验环境介绍：集群主机：192.168.1.6test1；192.168.1...
分类：
Web程序 时间：
2014-06-16 17:54:12
阅读次数：
616
nginx高并发优化一、关闭系统中不需要的服务二、优化磁盘写操作mount-oremountdefaults,noatime,nodiratimepartionmount_partionfstab将partionmount_partiondefaults00修改为partionmount_partiondefaults,noatime,nodiratime00即修改为写入磁盘不修改访问时间三、优化资源限..
分类：
其他好文 时间：
2014-06-16 17:26:30
阅读次数：
276
01.在服务端创建zabbix组configuration---Templates---createtemplate---TemplateLinux
DiskIO===其中选择组为"Template"在TemplateLinuxDiskIO中创建Discoveryrule：Name:Diskdevice
discovery
Key:custom.vfs.dev.discovery
FilterMacro{#DISK}Regexp@Disk
devicefordiscover..
分类：
其他好文 时间：
2014-06-16 17:00:42
阅读次数：
543
Linux中使用mdadm创建软raidraid磁盘阵列:raid0raid1raid5raid10raid0：优点：读写速度快缺点：安全性不高raid1:优点：安全性高，读取速度快缺点：写入速度慢raid5:安全性介于0和1之间读写速度介于0和1之间优点：可以做冗余磁盘完整创建raid5过程：1.新建4个分区：[root@localh..
分类：
其他好文 时间：
2014-06-16 16:10:26
阅读次数：
279
配置与管理DNS服务器姓名：马雪敏专业：网络工程查看以bind开头的文件查看磁盘空间安装镜像文件后，再次查看磁盘空间多了1个dvd（etc/sr0）创建一个目录/yum将镜像挂载到/yum目录下，这时/yum下已经有内容了查看磁盘空间，看到/dev/sr0的存放位置有两个进入目录/etc/yum.repo.d..
分类：
其他好文 时间：
2014-06-16 15:39:36
阅读次数：
326
第一款：TrueCryptTrueCrypt可能很多人没用过，它是一个加密软件，能够对磁盘进行加密。还在担心自己电脑中的重要文件、私密档案被人查看。什么，你以为把文件设置了隐藏属性别人就看不到了？：)：）快来用TrueCrypt，你必定会爱上它的。特点：对某一磁盘分区进行加密，开启计..
分类：
其他好文 时间：
2014-06-16 15:27:16
阅读次数：
158
NFS是NetworkFileSystem的缩写，即网络文件系统。一种使用于分散式文件系统的协定，由Sun公司开发，于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据，让应用程序在客户端通过网络访问位于服务器磁盘中的数据，是在类Unix系统间实现磁盘文..
分类：
系统相关 时间：
2014-06-16 15:06:45
阅读次数：
410
