【1】360 Atlas 网址：https://github.com/Qihoo360/Atlas 较为活跃，Atlas 是由 360 Web平台部基础架构团队开发维护的一个基于 MySQL 协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功 ...
分类：
数据库 时间：
2019-12-26 13:05:46
阅读次数：
168
MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。 MaxCompute基于ODPS ...
分类：
其他好文 时间：
2019-12-23 17:00:34
阅读次数：
92
大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。麦肯锡研究表明，在政务、医疗、交通、教育、电商、零售和制造业领域，大数据每年可以提高劳动生产率1-2个百分点。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。然而调查显示，未被使用的数据比例高达99.4%
分类：
Web程序 时间：
2019-12-18 10:58:47
阅读次数：
241
1.简述互联网信息抓取的方式。 互联网信息自动抓取，最常见且有效的方式是使用网络爬虫。 2.简述舆情系统的组成架构。 用户终端->采集层->分析层->呈现层->用户 3.中文分词算法可以分为哪几类？ （1）基于字符串匹配的分词方法，它是待处理的中文字符串与一个“尽可能全面”的词典中的词条按照一定的规 ...
分类：
其他好文 时间：
2019-12-01 16:51:40
阅读次数：
265
一、北斗指挥机的功能 1、具有全方向高灵敏度信号捕捉能力、稳定高效率的信号发射能力； 2、能够实现对三颗北斗卫星六波束信号的实时跟踪处理； 3、具有监视指挥调度等功能； 4、能实时将定位及导航信息在数字地图上进行标会与监控，支持历史信息查询、维护及导出功能； 5、可实现对下属500个用户机的指挥调度 ...
分类：
其他好文 时间：
2019-11-29 18:31:52
阅读次数：
136
Spark(一): 基本架构及原理 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下 ...
分类：
其他好文 时间：
2019-11-25 11:52:12
阅读次数：
62
浅谈流处理 什么是流处理 流处理是一种大数据处理技术。它使用户能够查询连续数据流，并在从接收数据开始很短的时间内快速检测条件。检测时间从几毫秒到几分钟不等。例如，通过流处理，你可以通过查询来自温度传感器的数据流并检测温度何时达到冻结点来接收警报。 它还有许多名称：实时分析、流分析、复杂事件处理、实时 ...
分类：
其他好文 时间：
2019-11-18 18:32:55
阅读次数：
89
第1章 课程介绍&学习指南本章会对这门课程进行说明并进行学习方法介绍。第2章 为什么要学SparkSpark作为近几年最火爆的大数据处理技术，是成为大数据工程师必备的技能之一。本章节将从如下几个方面对Spark进行一个宏观上的介绍：Spark产生背景、特性、环境部署、Spark与Hadoop的对比、 ...
分类：
数据库 时间：
2019-11-11 00:32:19
阅读次数：
534
数据分析过程包括：数据建模、大数据处理、告警与触发、报告等。从数据处理的实时性要求角度看，大数据分析可以分为批量和流式两种数据处理方式。批量处理主要适合于实时性要求不高的分析型应用，而流式处理主要适用于实时性要求高的在线分析应用。批量处理方式主要适用于大规模离线数据的分析处理，比如企业周期性统计报表，可以采样批量处理方式。对企业大规模历史生产经营数据进行批量处理，分析结果可以用于制定企业发展战略，
分类：
其他好文 时间：
2019-11-09 00:29:16
阅读次数：
169
大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： ...
分类：
其他好文 时间：
2019-10-06 16:48:10
阅读次数：
114
