1.文件读写 使用open打开文件，f=open('/user/test.txt','r'),r表示可读 如果文件不存在，则抛出IOError 文件打开，则用read()方法进行读取 最后关闭用close(）方法 python中引入with语句，和try...finally效果一样，但是不用调用cl ...
分类：
编程语言 时间：
2019-11-25 09:35:09
阅读次数：
83
迄今，相信大家肯定听说过 HBase，但是对于 HBase 的了解可能仅仅是它是 Hadoop 生态圈重要的一员，是一个大数据相关的数据库技术。 今天我带你们一起领略一下 HBase 体系架构，看看它是如何大规模处理海量数据。 一、什么是 HBase？ 关于 HBase 的实现，是基本遵循 Bigt ...
分类：
其他好文 时间：
2019-01-19 21:07:14
阅读次数：
186
下图显示了HDFS文件系统中路径为“localhost:50070/explorer.html#/user/hadoop”的目录中所有的文件信息： 对于该目录下的所有文件，我们将执行以下操作： 首先，从该目录中过滤出所有后缀名不为".abc"的文件。 然后，对过滤之后的文件进行读取。 最后，将这些文 ...
分类：
其他好文 时间：
2019-01-04 20:23:59
阅读次数：
262
awk命令不仅仅是Linux系统的命令，也是一种编程语言，用来处理数据和生成报告（Exel），处理的数据可以是一个或多个文件（标准输入和管道获取标准输入）。可在命令行上编辑操作，也可以写成awk程序运用。 awk格式 awk -F “参数” ‘BEGIN{} 模式 {动作} END{}’ 文件路径 ...
分类：
系统相关 时间：
2018-10-29 21:30:27
阅读次数：
168
解释：其实主要的思路就是先把word文档转化成xml格式的数据，然后在把xml格式的数据转化成字节流让程序来读取，最后在把字节流转化成xml格式的数据，然后在转化成word文档。 poi工具也是这个思路。 更新：我比较懒。呃。。。应该说是很懒，其实很不想添加这段文字，但随着越来越多的朋友发邮件问我这 ...
分类：
其他好文 时间：
2018-02-09 23:57:07
阅读次数：
331
一、前述 Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。 累机器相当于统筹大变量，常用于计数，统计。 二、具体原理 1、广播变量 广播变量理解图 注意事项 1、能不能将一个RDD使用广播变量广播出去？ 不能，因为RD ...
分类：
其他好文 时间：
2018-02-07 00:36:47
阅读次数：
200
StringIO的行为与file对象非常像，但它不是磁盘上文件，而是一个内存里的“文件”，我们可以像操作磁盘文件那样来操作StringIO。这篇文章主要介绍了Python StringIO模块，此模块主要用于在内存缓冲区中读写数据。模块中只有一个StringIO类，所以它的可用方法都在类中，此类中的 ...
分类：
编程语言 时间：
2017-11-29 18:11:34
阅读次数：
234
最近维护的redis cluster需要扫描每个实例的内存使用率，首先我们需要获取实例已经使用的内存，获取实例的最大内存配额，两个值相比就能获取到内存使用比例。 实例的最大内存获取方法： 实例的已使用内存获取方法： 获取到的值单位是字节，我们需要更换成G为了更方便的直观的读取。 最后使用已经使用的内 ...
分类：
其他好文 时间：
2017-10-14 11:42:16
阅读次数：
118
用Excel导了两天数据，各种问题，折磨客户也折磨了自己，以前没发现的问题一下子都暴露出来了 特意收集两篇Excel跟CSV读取相关的两篇文章 asp.net读取excel文件，将excel文件先上传，在读取，最后删除。 但有一个问题，那就是excel文件夹需要有读写的权限，IIS需要为asp.ne ...
分类：
Web程序 时间：
2017-07-17 12:26:03
阅读次数：
186
?? 1.在window下的命令重定向输出到文件里 2.将内容输入到某个文件里的方式：命令<1.txt （使用1.txt中的命令） 3.读取文件里的名，然后将命令读取最后输出到文件里。命令<1.txt>2.txt 这一句的作用就是将运行的命令输入到2.txt中。 4.文件重定向案例1 #includ ...
分类：
其他好文 时间：
2017-05-11 14:32:06
阅读次数：
241
