场景
我有一批平铺数据放在txt文件，其量大概在10W条，接下来我们希望将这10W条记录进行切割获取，并且将单条数据分析校验，然后插入到DB中。前提是我们使用的是HTTP文件上传方式来导入数据。现在的问题是：如果用户直接上传，然后我们一条条数据读取、校验并将其插入数据库，这个过程将会耗费非常长的时间（大概在1小时以上），而这么长的时间等待会导致apache、nginx或者浏览器端（...
分类：
Web程序 时间：
2014-09-13 00:50:04
阅读次数：
531
场景我有一批平铺数据放在txt文件，其量大概在10W条，接下来我们希望将这10W条记录进行切割获取，并且将单条数据分析校验，然后插入到DB中。前提是我们使用的是HTTP文件上传方式来导入数据。现在的问题是：如果用户直接上传，然后我们一条条数据读取、校验并将其插入数据库，这个过程将会耗费非常长的时间（大概在1小时以上），而这么长的时间等待会导致apache、nginx或者浏览器端（一般情况下是60分...
分类：
Web程序 时间：
2014-09-12 10:16:13
阅读次数：
221
应用系统中经常需要有文件上传功能，一般的做法都是使用HTML的和，或者使用第三方文件上传组件，如swfupload和uploadify。我们都知道如果向服务器提交数据，一般来说都是使用POST请求，请求数据会放在请求体中，以key1=value1&key2=value2的形式。这样的报文，服务器是很容易解析的。如果是上传文件，通过httpwatch抓包工具，我们可以发现：文件的内容也是放在post...
分类：
Web程序 时间：
2014-08-08 16:17:16
阅读次数：
557
// 这是一个简单的Node HTTP,能处理当前目录的文件// 并能实现良种特殊的URL用于测试// 用http://localhost:8000 或http://127.0.0.1:8000 连接这个服务器// 首先,加载所有要用的模块var http = require('http'); .....
分类：
Web程序 时间：
2014-07-18 10:13:12
阅读次数：
235
