dataguru访问地址：http://f.dataguru.cn/?fromuid=99611课程优惠码：C4B6这段时间一直在dataguru（炼数成金）上学习《hadoop数据分析平台（第十四期）》，说说我对炼数成金的印象。最开始听说dataguru是通过它的广告邮件中的链接，发送的对象是it...
分类：
其他好文 时间：
2014-05-08 21:19:30
阅读次数：
727
Hadoop集群（第9期）_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类：
其他好文 时间：
2014-05-08 20:38:16
阅读次数：
669
如果不考虑其他任何问题，只比较速度的话，那肯定是mem快，但他们各有优缺点。文件缓存优点：1、由于现在的硬盘都非常大，所有如果是大数据的时候，放硬盘里就比较合适，比如做一个cms网站，网站里有10万篇文章，生成的文件大小总数可能就会很大。2、数据的存放较为安全，由于是硬盘存放，所以在意外掉电的情况下...
分类：
Web程序 时间：
2014-05-08 20:03:19
阅读次数：
307
Python+Django+SAE系列教程12-----配置MySQL数据库...
分类：
数据库 时间：
2014-05-08 00:20:06
阅读次数：
452
今天下午神奇的“黑色30秒”再次降临，而这次“黑色30秒”期间没有出现Requests
Queued。现在我们猜测“黑色30秒”的触发条件是在高并发下线程突然卡住了。为什么线程会卡住？为什么会是30秒？应用程序的原因，Windows的原因，还是阿里云的原因？大家可以投投票。
分类：
其他好文 时间：
2014-05-07 18:28:46
阅读次数：
425
因为关注大数据，也写过若干关于大数据的文章，做过若干关于大数据的演讲，所以对有关这一主题的论文和书籍非常有兴趣。过去几年，在这方面读过十几本书，上百篇论文和文章。相对而言，舍恩伯格的《大数据时代》是迄今为止我读过的最好的一本专著，中英文都算上。此书的一大贡..
分类：
其他好文 时间：
2014-05-07 15:24:59
阅读次数：
226
从CPU/OS到虚拟机和云计算
关于这个话题，套用一句谚语就是三十年河东三十年河西，风水轮流转。软件和硬件一定是相互促进、相互拆台又相互搭台的。一些之前被诟病的上层架构，或许若干年之后会被发现成了最合适的选择，而再过若干年，又会变得不合适。软件定义亦或是硬件定义，同样也是这样，硬件定义的结果是性能够强但是不灵活，此时软件定义便会开始酝酿翻盘，但是任何事情都有惯性，软件“过度”定义之后，会发...
分类：
其他好文 时间：
2014-05-07 12:24:40
阅读次数：
376
使用.net dataexcel通信搭建一个简单的文件服务器。
通信简单介绍
1，通信使用TCP协议。
2，采用session机制，控制简单通信安全与连接限制防攻击。
3，采用开放协议包格。(32字节数据包)
4，采用网络断开，自动连接机制保证连接。
5，采用压缩机械压缩大数据（比如.net 里面datatable,dataset的传输）。
6，采用事件机制，更容易，更符合.net开发习惯。
7，采用异步传输，较大的连接与并发。
8，采用数据包头，解决粘包。
9，采用命令方式，更容易扩展。
10，采用允许...
分类：
Web程序 时间：
2014-05-07 08:11:20
阅读次数：
494
数据库是程序的仓库，也是程序中最脆弱的一部分，因为它的脆弱性和重要性，所以需要专门进行管理和优化。在如今的网络化的时代更加需要数据库的灵活和快捷，一个高效的数据库能够使程序运行效率更快，提高程序的运行效率。但往往对数据库的设计达不到我们想要的效果，所以数据库的优化显得尤为重要。该系列文章正是考虑大数据量的当今如何才能让数据库的设计更加灵活，数据检索、操作更加高效展开的讨论，其中涉及到的优化...
分类：
数据库 时间：
2014-05-07 06:12:15
阅读次数：
427
云计算的核心思想是简化IT服务交付的方式和流程，它其实不仅是一门技术，更是一种服务模式的变革，云可以把各种IT技术融合在一起，向客户提供自下而上整体的IT服务，使得客户更高效更专注地运作核心业务，而非底层的软硬件。许多企业对云计算的疑惑已经从“是否应该实施它”转变为“如何实施它以实现最大价值”。
分类：
其他好文 时间：
2014-05-07 01:36:50
阅读次数：
417
