数据倾斜 数据倾斜概念 在做计算的时候，数据的分散度不够(数据的Key分布不均)，导致数据分布在一台或几台机器计算 症状：典型的现象就是数据reduce到99%很久不动了 数据倾斜原因 总原因：key分布不均 业务数据的特点（数据的幂律分布） 人为建表的疏忽 join、group by、count ...
分类：
其他好文 时间：
2018-12-22 22:41:16
阅读次数：
242
17.Mysql分区分区是指根据一定的规则把一个表分解成多个部分，逻辑上仍是一张表，实际上由多个物理分区对象组成。分区对于应用是完全透明的，不影响业务逻辑和SQL编写。分区的优点： 可以存储更多的数据； 优化查询；当where条件包含分区键时只在特定的分区查询；当涉及聚合函数时每个分区可以并行查询。 ...
分类：
数据库 时间：
2018-12-15 15:46:12
阅读次数：
202
"读薄《高性能MySql》(一)MySql基本知识" "读薄《高性能MySql》(二)Schem与数据优化" 选择更优的数据类型 当我们设计数据类型的时候应该选择最优的数据类型，因为好的数据类型会使数据库性能提升很多，特别是在使用 ORM 的时候要尤其消息，因为需求的复杂性，ORM 基本上没什么可能 ...
分类：
数据库 时间：
2018-11-22 00:28:38
阅读次数：
234
ocp提纲 Oracle SQL 基础 ◆ 标准SQL语言介绍◆ Oracle数据库数据组织形式◆ DDL语句创建表及修改表结构◆ Select语句检索和限制表中数据◆ 从多表中检索数据（连接查询）◆ SQL函数：单行函数、多行函数（分组函数）◆ 对表中数据集合运算（集合查询）◆ DML语句操纵数据 ...
分类：
数据库 时间：
2018-11-12 14:54:00
阅读次数：
160
数据库优化离不开索引，如何理解索引？ 可以参考：http://www.cnblogs.com/gavinsp/p/5513536.html 1、首先要明白无名无实莫要用索引：因为数据中的记录很多，为了方便我们查找，提高查询的效率； 2、索引的原理：对要查询的字段建立索引其实就是把该字段按照一定的方式 ...
分类：
数据库 时间：
2018-11-05 11:08:09
阅读次数：
133
相信最近不少读者都听过这样的一个命题：区块链与边缘计算的结合。初次接触这个命题的读者，可能会有这些疑问：边缘计算是什么？和区块链怎么结合？两者结合有什么不足？将对哪些产业有影响？纯理论不免干涩难懂，我们不妨结合物联网，在下文中探讨区块链和边缘计算的结合。物联网的不足计算成本传统物联网系统基于服务器/客户端的中心化架构，即所有物联设备都通过云实现验证、连接和智能控制。这种架构下，每一个接入物联网的设
分类：
其他好文 时间：
2018-11-01 17:49:52
阅读次数：
225
hash tree(哈希树)，是由tree和hash table结合，旨在优化hash table冲突解决方案的一种数据结构。 在链式hash table中，若关键字发生冲突，则创建单个新节点链到冲突节点之后，并把关键字插入到新节点。 而在hash tree结构中，若关键字发生冲突，则创建一组新节点... ...
分类：
编程语言 时间：
2018-10-26 22:15:40
阅读次数：
178
面对AI，我们应该怎么做？ 李开复博士的一段话: 1. 我们应该具有战略性思维，并以人工智能无法取代的工作为目标。我们应该致力于终身学习，更新我们的技能，了解新趋势，并寻找新机遇。 2. 我们应该鼓励批判性思维和各种创造力，不仅仅是科学和工程，还有：艺术、建筑、音乐、诗歌、表演、讲故事等。 3. 我 ...
分类：
其他好文 时间：
2018-10-23 10:46:03
阅读次数：
159
此文已由作者王攀授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 引言： 目前我们团队在做的供应链协同决策系统（简称河洛，取河洛交汇，河图洛书之意），定位相当于一个计划、控制与决策引擎，贯通严选各系统（累加起来等于ERP），并期望通过数据优化严选各业务及供应商的生产制造，通过 ...
分类：
其他好文 时间：
2018-10-17 11:13:04
阅读次数：
137
此文已由作者王攀授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 引言： 目前我们团队在做的供应链协同决策系统（简称河洛，取河洛交汇，河图洛书之意），定位相当于一个计划、控制与决策引擎，贯通严选各系统（累加起来等于ERP），并期望通过数据优化严选各业务及供应商的生产制造，通过 ...
分类：
其他好文 时间：
2018-10-17 10:59:42
阅读次数：
144
