码迷,mamicode.com
首页 >  
搜索关键字:大数据处理    ( 465个结果
位图与布隆及大数据处理题型分析
1.位图 由题引入: 【腾讯】:2.给40亿个不重复的无符号整数,没排过序。给一个无符号整数,如何快速判断一个数是否在这40亿个数中。 如果将40亿个数按整型放入内存,显然不科学,就算内存足够,这样做也是浪费空间。 解决思路:用一个比特位表示一个数,存在的话该位上就置为1,不在的话置为0;这样40亿 ...
分类:其他好文   时间:2017-08-16 21:45:36    阅读次数:187
Android技术总结2
Android技术总结2Java部分 Java虚拟机jvm分区,GC(基本上后续所有地方面试都问了,基础中的基础)虚拟机栈 线程私有 描述Java方法执行的内存模型 每个方法在执行的同时都会创建一个栈帧 用于存储局部变量表、操作数栈、动态链接、方法出口等信息每一个方法从调用直至执行完成的过程,就对应 ...
分类:移动开发   时间:2017-08-10 17:04:58    阅读次数:158
java dbcp连接池,大数据处理循环多表操作插入事例
基础连接池类: package com.yl.sys.dao; import java.io.InputStream;import java.sql.Connection;import java.sql.SQLException;import java.util.Properties;import ...
分类:数据库   时间:2017-08-07 16:38:37    阅读次数:265
处理大数据流常用的三种Apache框架:Storm、Spark和Samza。(主要介绍Storm)
处理实时的大数据流最常用的就是分布式计算系统,下面分别介绍Apache中处理大数据流的三大框架: Apache Storm 这是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。他是一个流数据框架,具有最高的社区率。虽然Storm是无状态的,它通过ApacheZo ...
分类:Web程序   时间:2017-08-02 13:02:57    阅读次数:431
机器学习方法--分类、回归、聚类
原创 2017-07-27 马文辉 MATLAB 作 者 简 介 马文辉,MathWorks中国应用工程师, 南开大学工学博士,在大数据处理与分析领域有多年研究与开发经验;曾就职于Nokia中国研究院,Adobe中国研发中心以及IBM中国。 近年来,全国赛的题目中,多多少少都有些数据,而且数据量总体 ...
分类:其他好文   时间:2017-07-29 00:51:24    阅读次数:399
javascript实现朴素贝叶斯分类与决策树ID3分类
今年毕业时的毕设是有关大数据及机器学习的题目。因为那个时间已经步入前端的行业自然选择使用JavaScript来实现其中具体的算法。虽然JavaScript不是做大数据处理的最佳语言,相比还没有优势,但是这提升了自己对与js的理解以及弥补了一点点关于数据结构的弱点。对机器学习感兴趣的朋友还是去用 py ...
分类:编程语言   时间:2017-07-28 15:37:59    阅读次数:251
拉开大变革序幕(下):分布式计算框架与大数据
由于对大数据处理的需求。使得我们不断扩展计算能力,集群计算的要求导致分布式计算框架的诞生。用便宜的集群计算资源在短短的时间内完毕以往数周甚至数月的执行等待,有人说谁掌握了庞大的数据。谁就主导了需求。尽管在十几年间,通过过去几十年的积淀,诞生了mapreduce。诞生了分布式文件系统。诞生了霸主级别的 ...
分类:其他好文   时间:2017-07-22 13:14:18    阅读次数:231
flume、sqoop、oozie
在一个完整的大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统,而这些辅助工具在hadoop生态体系中都有便捷的开源框架。 日志采集框架Flume Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和 ...
分类:Web程序   时间:2017-07-21 23:25:52    阅读次数:310
[005]大数据
[005]大数据 [005]大数据2017年3月5日3:011. 数据流水线任务智能调度系统实践2. 基于分布式架构的大数据商业建模实践3. 斗鱼实时计算平台的演进4. 打造又快又准的广告分析系统5. 雪球大数据体系实践6. 机器学习在OTA酒店服务的应用7. 海量日志实时分析平台8. 大数据处理和... ...
分类:其他好文   时间:2017-07-19 17:51:53    阅读次数:137
【Mysql】大数据处理优化方法
1、应尽量避免在 where 子句中使用 != 或 <> 操作符,否则将引擎放弃使用索引而进行全表扫描。 2、对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 3、应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃 ...
分类:数据库   时间:2017-07-12 12:14:31    阅读次数:182
465条   上一页 1 ... 18 19 20 21 22 ... 47 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!