[toc] 一 为什么需要复杂度分析 1. 测试结果非常的依赖测试环境 在不同的硬件环境，测试同样一份代码其效果是不一样的。那么复杂度分析具有成本低，效率高的特点。 2. 测试结果收到数据规模的影响很大 比如排序算法，对待排序的有序度不一样，排序的执行时间就很不一样。如果测试数据规模很小，测试结果也 ...
分类：
其他好文 时间：
2019-12-22 12:58:08
阅读次数：
152
一、什么是归并排序？ 归并排序是基于分而治之的思想建立起来的。 所谓的分而治之，也就是将一个数据规模为N的数据集，分解为两个规模大小差不多的数据集（n/2）,然而分别处理这两个更小的问题，就相当于解决了总的问题。 二、归并排序的思路。 1-首先将数据分为左右相等的两部分，不断细分，到最后只有单个元素 ...
分类：
编程语言 时间：
2019-11-17 01:03:35
阅读次数：
94
1.1训练，验证，测试集（Train/Dev/Test sets） （1）深度学习是一个按照下图进行循环的快速迭代的过程，往往需要多次才能为应用程序找到一个称心的神经网络。 （2）在机器学习中，通常将样本分成训练集，验证集和测试集三部分，数据规模相对较小，适合传统的划分比例（如6:2:2），数据集规 ...
分类：
其他好文 时间：
2019-11-15 20:48:32
阅读次数：
86
O(logn) long long内都可以 O(n) 10^7 O(nlogn) 10^5 ~ 5 10^5 O(n^2) 1000 ~ 5000 O(n^3) 200 ~ 500 O(2^n) 20 ~ 24 O(n!) 12 ...
分类：
其他好文 时间：
2019-11-10 22:35:39
阅读次数：
108
与工业界相比：更大的数据规模和模型复杂度的区别 mxnet 爱慕斯奈特 y = nd.array(x) # numpy -> mxnet z = y.asnumpy() # mxnet -> numpy z = nd.zeros_like(x) before = id(z) z[:] = x + y ...
分类：
其他好文 时间：
2019-11-09 19:49:27
阅读次数：
100
Apache Kafka 是 LinkedIn 基础设施的核心组件，最初是作为内部流式处理平台而诞生的，后来被开源出来，并得到了外部的广泛采用。虽然有很多公司和项目在使用 Kafka，但他们的数据规模很少能够达到 LinkedIn 这样。Kafka 被广泛地应用在 LinkedIn 的软件栈中，用于活动追踪、消息交换、指标收集，等等。LinkedIn 有 100 多个 Kafka 集群，其中包含了 4000 多个 broker，总共有 10 万多个 topic 和 700 万个分区。截止到目前，LinkedIn 的 Kafka 集群每天处理的消息数量超过了 7 万亿条。
分类：
其他好文 时间：
2019-11-09 00:24:55
阅读次数：
134
选择排序是一种简单直观的排序算法，无论什么数据进去都是 O(n²) 的时间复杂度。所以用到它的时候，数据规模越小越好。唯一的好处可能就是不占用额外的内存空间了吧。 1. 算法步骤 首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置 再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排 ...
分类：
编程语言 时间：
2019-11-08 15:10:37
阅读次数：
114
O后面的括号中有一个函数指明某个算法的耗时/耗空间与数据增长量之间的关系。其中n代表输入数据的量 O(1)-就是最低的时间复杂度 例子：哈希算法，无论数据规模多大，都可以在一次计算后找到目标(不考虑哈希冲突) O(n)-代表数据量增大n倍，耗时也增大n倍(线性) 例子：找到一个数组里最大的数，需要把 ...
分类：
其他好文 时间：
2019-11-02 20:13:18
阅读次数：
95
大数据特征（5V） Velocity（快速的数据流转） Veracity（精准可信赖的大数据） Variety（多样的数据类型） Volume（海量的数据规模） Value（数据价值密度相对较低） 大数据架构 HDFS服务功能 NameNode NameNode是主节点，存储文件的元数据，如文件名， ...
分类：
其他好文 时间：
2019-10-21 16:21:39
阅读次数：
104
