通常遇到的大文本文件是log日志文件，GB级别的log文件很常见通常在打开log文件时头痛，因为常用的一些文本文件工具都不好用了，比如UE，notepad++等，记事本就不用提了今天，我需要在1.5G的log文件中查找标签，然后导出到新的文本文件中，再进行其他的操作。用notepad++时，直..
分类：
其他好文 时间：
2014-09-29 04:24:27
阅读次数：
296
这几天因为一个小项目用到Lucene，于是去学习了一下，现在还有很多地方没有了解，先就我遇到的问题做下总结。
一、大文本建索引问题
我这里说的大文本，实际上也就200M左右的txt，或许不应该成为大文本，但是我在建索引时遇到200M左右的的确导致了内存溢出，报错误java.lang.OutOfMemoryError: Java heap space ，到网上查了很久，试了一些方法，比如修改JV...
分类：
其他好文 时间：
2014-09-12 12:02:13
阅读次数：
270
使用R语言对文件数据分组汇总是很普遍的操作，但有时我们会遇到比较大的文件，这类文件的计算结果较小，但源数据太大，无法全部放入内存进行计算，只能采用分批读娶分批计算、拼合结果的办法来解决。下面用一个例子来说明R实现大文件数据分组汇总的方法。有个1G的文件sales.txt..
分类：
其他好文 时间：
2014-09-05 16:27:02
阅读次数：
219
工作中遇到一些大文本，或者一些文件需要在特定的行切割开的。Replace Pioneer正好用于此的软件。把一个文本切分不同文本的步骤：1先把文本数据放到打开2. file--》save to file -- split by lines3.
分类：
其他好文 时间：
2014-08-27 21:48:48
阅读次数：
227
1、大文本 @Column(columnDefinition="LONGTEXT") //使用大文本字段 private String content;2、不可更改，不为空@Column(updatable = false,nullable=false)3、时间戳字段，并设置默认值...
分类：
系统相关 时间：
2014-08-13 21:46:07
阅读次数：
240
由于以前处理数据用Matlab和C，最近要处理大量文本文件，用C写实在是太繁琐，鉴于Python的强大文本处理能力，以及其在Deep Learning上有着很大优势，本人打算从即日起学习Python，谨以此系列博客记录学习点滴。文中如有错误，还望大牛们指出！Section 1:本文是第一篇，当然也是...
分类：
编程语言 时间：
2014-08-01 15:22:52
阅读次数：
233
Grep简介全名：GlobalsearchRegularexpressionandPrintouttheline.功能：文本搜索工具，根据用户指定的文本模式（搜索条件）对目标文件进行逐行搜索，显示能匹配到的行。Linux的三大文本处理工具之一，可以说学好grep命令无疑是重要的，可以说学好grep也是不容易的，因为grep里..
分类：
系统相关 时间：
2014-07-14 11:57:22
阅读次数：
464
在linux系统上有三大文本处理工具分别是：grep，sed，awk，这次主要来看看awk。awkoption‘pattern‘file-F指定分隔符；-v申明自定义变量；查看当前系统上，用户名和用户shell，输出分隔符为~.#awk-F:‘BEGIN{OFS="~";print"UserNameShell"}{print$1,$7}END{print"==============..
分类：
系统相关 时间：
2014-06-24 16:09:14
阅读次数：
397
最近做的一个项目数据量非常大，文本数据有30duo...
分类：
数据库 时间：
2014-06-22 17:38:02
阅读次数：
649
1 package cn.itcast.web.oracle.util; 2 3 import java.sql.Connection; 4 import java.sql.DriverManager; 5 import java.sql.ResultSet; 6 import java.sql.....
分类：
数据库 时间：
2014-06-18 00:24:31
阅读次数：
394
