11月14日，阿里云重磅发布了实时计算独享模式，即用户独享一部分物理资源，这部分资源在网络/磁盘/CPU/内存等资源上跟其他用户完全独立，是实时计算在原有共享模式基础上的重大升级。（观看实时计算发布会直播：https://yq.aliyun.com/live/591） 独享模式优点更加突出1、UDX开放：实时计算的共享模式是多个用户共享一个物理机群，在网络/磁盘层面没有办法做到完全隔离。
分类：
其他好文 时间：
2018-11-15 19:49:49
阅读次数：
215
设计原则：移动计算，而不是移动数据 计算层：Map/Reduce调度层：YARN数据层：HDFS 这三层之间没有必然的依赖性，只是经常这么搭配，而且都是hadoop那个包里一起安装的，三层都可以独立运行，某一层或者某两层换成其他的而另外两层或者一层不换也是可以的 YARN 调度系统 Resource ...
分类：
其他好文 时间：
2018-11-15 00:17:21
阅读次数：
193
大数据，bigdata，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。这句话至少传递两种信息：大数据是海量的数据，另外大数据处理无捷径，对分析处理技术提出了更高的要求。其实简单的来说，大数据就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。
分类：
其他好文 时间：
2018-11-11 14:16:23
阅读次数：
213
10月27日下午，2018中国计算机大会上举办了主题“新型硬件环境下大数据处理技术”的技术论坛，一起探讨新型硬件带来的变化。论坛上，阿里云高级总监马涛针对超大规模超高性能分布式块存储系统ESSD进行了报告分析。
分类：
其他好文 时间：
2018-11-08 14:59:47
阅读次数：
144
前言 在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 1. Flume日志采集框架 1.1 Flume介绍 1.1.1 ...
分类：
Web程序 时间：
2018-11-02 16:35:12
阅读次数：
269
本公司为北京源智天下科技有限公司，主做图书策划，和清华大学出版社、电子工业出版社、人民邮电出版社、机械工业出版社合作十余年，每年出版100多本图书。现在策划人工智能、大数据处理、数据库、编程语言等相关的选题，以下列出的每一个点都是一本书的写作方向，有意向写书出版或者想做个兼职的朋友可以联系我！如果下面没有你擅长的也可以私信我，根据市面数据帮你选择适合的选题。合作流程（可以试写，有问题有返回修改的机
分类：
其他好文 时间：
2018-10-31 17:01:25
阅读次数：
184
针对端用户决议计划变快，广点通现已借助DeepLink技能推出运用直达，在App激活、新客获取与下单方面，有明显的作用，完成了的直达。 什么是广点通 广点通是由腾讯公司推出的作用体系。它是国内抢先的作用营销途径，依托于腾讯海量Y质流量资源，给主跨途径、跨终端的网络推行计划，并利用腾讯大数据处理算法完成本钱可控、作用客观、智能投进的互联网作用途径。 广点通原理 根据腾讯大交际途径共同基因
分类：
其他好文 时间：
2018-10-30 18:50:50
阅读次数：
186
storm 使用kafka做数据源，还可以把使用netty. 新建一个maven 工程： pom.xml KafkaTopology ...
分类：
其他好文 时间：
2018-10-29 14:48:58
阅读次数：
252
1.什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势，一起来 ...
分类：
其他好文 时间：
2018-10-28 12:19:07
阅读次数：
133
大数据处理是一个头疼的问题，特别当达不到专业DBA的技术水准时，对一些数据库方面的问题感到无赖。所以还是有必要了解一些数据库方面的技巧，当然，每个人都有自己的数据库方面的技巧，只是八仙过海，所用的武功不同而已。我把我最常用的几种方式总结来与大家分享，大家还有更多的数据库设计和优化的技巧，尽量的追加到 ...
分类：
其他好文 时间：
2018-10-24 15:38:00
阅读次数：
294
