python脚本解析日志文件入库一般有三个重要的步骤：读文件、解析文件、入库。在这三个方面下功夫，可确保我们获得最优的性能（这里不讨论并发）1 读文件：一次读一行，磁盘IO太多，效率低下；一次性读如全部文件内容，可能内存不够。采取一个折中的办法，每次读若干byte(具体大小视实际情况而定)。经过.....
分类：
编程语言 时间：
2014-06-19 06:22:34
阅读次数：
341
1、练习 首先编写两个数据文件A： 0,1,2 1,3,4 数据文件B： 0,5,2 1,7,8 上传到HDFS对应目录/input目录下2、运行pig ,加载A和B 加载数据A：使用指定的分隔符, grunt> a = load '/input/A' using PigStora...
分类：
其他好文 时间：
2014-06-19 00:27:03
阅读次数：
354
由于本人长期从事Oa相关项目的开发，所以处理word文档，Pdf，Excel等是在所难免的。
1.需求 处理Excel 可以用jxl 或者poi
2需求 用户在系统上填写信息，保存后导出标准的word文档，用户在系统上填写的信息我们用富文本编辑工具kindEditor，这个插件可以将用户从word文档拷贝的表格标签保存，但是图片信息需要另行上传。...
分类：
编程语言 时间：
2014-06-15 14:24:12
阅读次数：
233
1.upload_file.php
//该文件负责获取上传的图片的扩展名和随机生成文件名
header("content-type:text/html;charset=utf-8");
/**
* 获取文件扩展名
*Enter description here ...
* @param unknown...
分类：
Web程序 时间：
2014-06-15 13:32:41
阅读次数：
242
以前在博客里面介绍了RMAN备份脚本一列分享，通过RMAN备份到本地路径，然后通过FTP将备份文件上传到FTP服务器。 下面简单介绍另外一例RMAN备份解决方案，下面是我简单画的一个图（很少画图，感觉有点粗制滥造）。 首先将数据库备份到本地服务器的一个目录下（目录是按日期格式生成,本地备份保留周期视...
分类：
数据库 时间：
2014-06-15 12:24:47
阅读次数：
358
本文介绍了利用Huffman编码对文件进行压缩和解压缩的过程。其中使用了java做为编程语言。为大家提供参考。本文只实现了对文本文件进行压缩和解压缩，对二进制文件压缩解压缩留待大家研究。完整工程留待以后上传。...
分类：
编程语言 时间：
2014-06-15 10:18:37
阅读次数：
329
1. ckfinder(ckfinder插件标签)1.1. 参数属性名类型描述是否必须默认值namestring属性名称是nullvaluestring默认值否nullwidthstring显示图片宽(上传类型为Images时)否nullheightstring显示图片高(上传类型为Images时)否nullbuttonClassstring按钮样式否nullbuttonValuestring按钮...
分类：
其他好文 时间：
2014-06-14 14:47:22
阅读次数：
344
上大学做阶段项目时遇到了一个很奇特的现象：kindEditor上传图片功能失效，但是把jsp所引用的样式去掉就好用，这说明样式有问题，于是删一个样式测试一下，就这样罪魁祸首落在了zoom身上，这是我们第一次"相识"，今天周末，难得的清闲，现总结一下：...
分类：
Web程序 时间：
2014-06-14 14:39:15
阅读次数：
688
最近的一个连接服务端的应用，需要读取图片，一般供用户发布商品选择上传图片，初始的图片列表应该是缩略图，只有确定了，才上传原图，OK不多说上代码
package edu.buaa.erhuo;
import java.io.File;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.Lis...
分类：
其他好文 时间：
2014-06-14 14:02:17
阅读次数：
341
php100:87:php之CURL传输与获取功能什么是ＣＵＲＬ? 利用URL语法爱命令行方式下工作的文件传输工具。它支持很多协议。它支持认证功能。php中常用都实现更复杂的传输功能。 实现的功能： 1、实现远程获取和采集内容 2、实现PHP 网页版的FTP上传下载 3、实现模拟登陆：去一...
分类：
其他好文 时间：
2014-06-14 11:09:54
阅读次数：
139
