计算机的概念： 能够按照程序自动高速处理海量数据的电子设备就是计算机。 计算机的组成： 计算机由硬件和软件组成。硬件是组成计算机的各种物理原件的总称。软件分为：系统软件和应用软件。面向系统的叫系统软件，面向人的叫应用软件。 软件开发的步骤： ① 需求分析 ② 系统设计 ③ 实现 ④ 测试 ⑤ 实施 ...
分类：
编程语言 时间：
2018-02-08 12:12:02
阅读次数：
153
学到的内容： 计算机发展史 Linux命令 计算机（computer），俗称电脑，是一种高速计算的电子计算机器，可用于数据运算，数据统计，数值计算，逻辑计算，具有记忆存储功能，数据存储，自动化的高速处理海量数据，计算机主要由硬件系统和软件系统两个部分组成，没有安装任何操作系统的计算机被称之为裸机（T ...
分类：
编程语言 时间：
2018-01-21 19:18:53
阅读次数：
193
计算机（computer）俗称电脑，是现代一种用于高速计算的电子计算机器，可以进行数值计算，又可以进行逻辑计算，还具有存储记忆功能。是能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。 由硬件系统和软件系统所组成，没有安装任何软件的计算机称为裸机。可分为超级计算机、工业控制计算机、网络计 ...
分类：
其他好文 时间：
2018-01-19 00:20:48
阅读次数：
166
由于在参与的实际项目中发现当mysql表的数据量达到百万级时，普通SQL查询效率呈直线下降，而且如果where中的查询条件较多时，其查询速 度简直无法容忍。曾经测试对一个包含400多万条记录（有索引）的表执行一条条件查询，其查询时间竟然高达40几秒，相信这么高的查询延时，任何用户都会 抓狂。因此如何 ...
分类：
数据库 时间：
2018-01-03 16:02:43
阅读次数：
194
1：项目技术架构图： 2：流程图解析，整体流程如下： ETL即hive查询的sql; 但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统BI完全不同: 1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hado ...
分类：
Web程序 时间：
2017-12-09 23:50:23
阅读次数：
262
一、数据库分类1、小型数据库：access、foxbase2、中型数据库：informix、sql server、mysql3、大型数据库：sybase、db2、oracle 二、项目中如何合理地使用数据库，可以依据如下三个方面入手1、项目的规模a、负载量有多大，即用户数有多大b、成本c、安全性 e ...
分类：
数据库 时间：
2017-12-06 13:04:17
阅读次数：
182
计算机 电子计算机，俗称电脑，是一种能够按照程序运行，自动、高速处理海量数据的现代化智能电子设备。由硬件和软件所组成，没有安装任何软件的计算机称为裸机。 主板： CPU： 硬盘：存储设备，网盘，硬盘，软盘 内存条： 外设：显示器/鼠标 键盘 软件 定义：程序->命令，按照一定顺序和逻辑组成的计算机指 ...
分类：
其他好文 时间：
2017-11-27 14:12:01
阅读次数：
191
一、MapReduce是用于解决什么问题的？ 每一种技术的出现都是用来解决实际问题的，否则必将是昙花一现，那么MapReduce是用来解决什么实际的业务呢？ 首先来看一下MapReduce官方定义： 总结一句话：MapReduce就是批量处理海量数据的分布式计算框架。 在数据规模比较小时，如果要批量 ...
分类：
其他好文 时间：
2017-11-12 14:52:53
阅读次数：
110
一 、消息中间件的基本介绍 1.1 消息中间件 1.1.1 什么是消息中间件 消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。对于消息中间件，常见的角色大致也就有Producer（ ...
分类：
编程语言 时间：
2017-11-12 00:27:12
阅读次数：
306
最近看了July的一些关于Java处理海量数据的问题研究，深有感触，链接：http://blog.csdn.net/v_july_v/article/details/6685962 感谢July ^_^ 他用的是Java的Hash Map等方法做了处理，讲解的非常深刻入骨 我也一时兴起，想拿Pyth ...
分类：
编程语言 时间：
2017-11-06 11:19:57
阅读次数：
290
