摘要： 说到处理大规模数据，R、Python、Scala和Java基本上都能满足你的要求。 有一个大数据项目，你知道问题领域(problem domain)，也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言?(或者可能更有针对性的问题 ...
分类：
编程语言 时间：
2016-04-25 11:34:33
阅读次数：
214
Python/Numpy大数据编程经验1.边处理边保存数据，不要处理完了一次性保存。不然程序跑了几小时甚至几天后挂了，就啥也没有了。即使部分结果不能实用，也可以分析程序流程的问题或者数据的特点。2. 及时用 del 释放大块内存。Python缺省是在变量范围（variablescope）之外才释放一...
分类：
编程语言 时间：
2015-07-16 21:57:20
阅读次数：
138
腾讯面试题：给20亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少？
解析:bitmap算法就好办多了
所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。
例如，要判断一千万个人的状态，每个人只有两种状态：男人，女人，可以...
分类：
编程语言 时间：
2015-04-29 11:50:09
阅读次数：
131
语言无关类
优质博客
操作系统
智能系统
WEB服务器
版本控制
编辑器
NoSQL
PostgreSQL
MySQL
项目相关
设计模式
Web
大数据
编程艺术
其它
语言相关类
Android
AWK
C/C++
CSS/HTML
Dart
Erlang
Fortran
Go
Groovy
Haskell
iOS
Java
JavaScript
LaTeX
LISP
Lua
Perl
PHP
Prolog
Python
R
Ruby
Scala
Scheme
Shell
Swift
读书笔记及其它...
分类：
其他好文 时间：
2015-04-15 17:12:23
阅读次数：
265
语言无关类 优质博客 操作系统 智能系统 WEB服务器 版本控制 编辑器 NoSQL PostgreSQL MySQL 项目相关 设计模式 Web 大数据 编程艺术 其它 语言相关类 Android AWK C/C++ CSS/HTML Dart Erlang Fortran Go Groovy...
分类：
其他好文 时间：
2015-04-15 16:33:42
阅读次数：
369
#define _CRT_SECURE_NO_WARNINGS
#include
#include
#include
#include
#include //多线程
char g_path[200] = "I:\\BaiduYunDownload\\1亿QQ信封\\1E5-10位\\QQ信封.txt";
#define N 84357584
char str[100] = { 0 }...
分类：
其他好文 时间：
2015-01-09 22:25:23
阅读次数：
325
大型网站系统架构演化之路分享到：更多72014-09-26 分类：云计算/大数据、编程开发暂无人评论前言一个成熟的大型网站（如淘宝、京东等）的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性，它总是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发模式、技术架构、设计思....
分类：
Web程序 时间：
2014-09-30 17:00:59
阅读次数：
249
