最近写了一些测试工具，经常希望能动态的查看日志文件，试了好些文本编辑文件如Emeditor、Vim等，一直没找到合适。 我希望支持的功能有： 支持大文件读取，速度要快 自动加载新的内容，直接定位到最后一行，类似于Linux下的taif工具 支持自动滚动 最后能彩色标识，比如Error行标记为红色 支 ...
本文主要介绍MapReduce编程模型的原理和基于Hadoop的MD5暴力破解思路。 一、MapReduce的基本原理 Hadoop作为一个分布式架构的实现方案，它的核心思想包括以下几个方面：HDFS文件系统，MapReduce的编程模型以及RPC框架。无论是怎样的架构，一个系统的关键无非是存储结构 ...
分类：
其他好文 时间：
2018-03-06 20:25:53
阅读次数：
161
关于流模式乱码 解决办法1，流模式自带设置编码格式 解决方案2，buffer对象拼接 解决方案3，自己拼接 highWaterMark的值越大，文件读取速度越快 ...
分类：
其他好文 时间：
2017-12-10 21:33:03
阅读次数：
132
python 读取文件方式： 1. read 一个字符一个字符的读出全部数据，放到内存 2. readline 一个字符一个字符的读出第一行，放到内存 3. readlines 一行一行的读出全部数据，放到内存 4. 直接通过文件对象读取 区别上述3中方式，逐行放入内存，不是全部放入内存。 读取大文 ...
分类：
其他好文 时间：
2017-04-07 12:31:24
阅读次数：
171
对于一个大文件，读取每一个行然后处理，用readline()方法老是读不全，会读到一半就结束，也不报错； 总之处理的行数跟 wc -l 统计的不一样，调试了一下午，改用 成功解救，但是不知道是什么原因。网上有说是文件里有特殊字符，需要用rb模式打开，试了也不行。 ...
分类：
编程语言 时间：
2017-03-17 20:57:15
阅读次数：
352
笔者最近需要快速查询日志文件,文件大小在4G以上。 需求如下: 1.读取4G左右大小的文件中的指定行，程序运行占用内存不超过500M。 2.希望查询1G以内容,能控制在20s左右. 刚开始觉得这个应该不难.研究一天之后,发现这个需要使用内存映射技术。 查阅了相关资料之后 https://msdn.m ...
php读取大文件可以使用file函数和fseek函数，但是二者之间效率可能存在差异，本文章向大家介绍php file函数与fseek函数实现大文件读取效率对比分析，需要的朋友可以参考一下。 1. 直接采用file函数来操作 由于 file函数是一次性将所有内容读入内存，而PHP为了防止一些写的比较糟 ...
分类：
Web程序 时间：
2016-11-03 23:14:21
阅读次数：
319
笔者最近需要快速查询日志文件,文件大小在4G以上。 需求如下: 1.读取4G左右大小的文件中的指定行，程序运行占用内存不超过500M。 2.希望查询1G以内容,能控制在20s左右. 刚开始觉得这个应该不难.研究一天之后,发现这个需要使用内存映射技术。 查阅了相关资料之后 https://msdn.m ...
//读取文件内容操作- (void) loadFileContentsIntoTextView{
//通过流打开一个文件
NSInputStream *inputStream = [[NSInputStream alloc] initWithFileAtPath: filePath];
[inputStream open];
NSInteger maxLength = 128...
分类：
移动开发 时间：
2015-08-07 19:50:39
阅读次数：
154
在通常的学习和开发中，因为我们很少会接触到大量数据的读取和写入，所以当突然有了这种需求的时候，我们可
能仍然会按照一些比较快捷的方法，像file_get_contents，fread等方法来读取文件，不过这样以来如果读取的文件太
大，就会产生问题，在实现大文件读取和写入的时候查找了网上的一些资料，不过有些例子给的不是很符合我的需
求，所以我就结合网上已有的例子，再写一篇总结性的博客吧。...
分类：
Web程序 时间：
2014-12-08 17:52:27
阅读次数：
205
