mongodb3+版本之后支持zlib和snappy。 创建压缩的集合 db.createCollection( "email", {storageEngine:{wiredTiger:{configString: 'block_compressor=zlib'}}}) 插入测试数据： for (v ...
分类：
数据库 时间：
2018-12-05 21:02:14
阅读次数：
291
准备知识： MySQL主从复制(Master-Slave) 原理 即是通俗的讲，主从服务器通过I/O线程通讯。二进制日志记录了数据的变动情况，从节点 就是通过读取 主节点 的 二进制日志 来进行数据复制的，如果没有启动 二进制日志 ，复制将无法进行。 在主节点中，必须开启二进制日志 (binlog) ...
分类：
数据库 时间：
2018-12-05 20:41:09
阅读次数：
188
《工作细胞》最近比较火，bilibili 上目前的短评已经有17000多条。 先看分析下页面 右边 li 标签中的就是短评信息，一共20条。一般我们加载大量数据的时候，都会做分页，但是这个页面没有，只有一个滚动条。 随着滚动条往下拉，信息自动加载了，如下图，变40条了。由此可见，短评是通过异步加载的 ...
分类：
编程语言 时间：
2018-12-04 00:09:05
阅读次数：
345
1.常见参数 tcpdump -i eth0 -nn -s0 -v port 80 -i 选择监控的网卡 -nn 不解析主机名和端口号，捕获大量数据，名称解析会降低解析速度 -s0 捕获长度无限制 -v 增加输出中显示的详细信息量 port 80 端口过滤器，只捕获80端口的流量，通常是HTTP 2... ...
分类：
系统相关 时间：
2018-12-01 21:49:20
阅读次数：
224
TopK问题是指从大量数据（源数据）中获取最大（或最小）的K个数据。 TopK问题是指从大量数据（源数据）中获取最大（或最小）的K个数据。 TopK问题是指从大量数据（源数据）中获取最大（或最小）的K个数据。 TopK问题是指从大量数据（源数据）中获取最大（或最小）的K个数据。 TopK问题是个很常 ...
分类：
编程语言 时间：
2018-12-01 18:44:57
阅读次数：
276
进程通信是指进程之间的信息交换。一、低级通信——进程之间的互斥和同步 信号量机制是有效的同步工具，但作为通信工具缺点如下：(1)效率低（通信量少）(2)通信对用户不透明（程序员实现，操作系统只提供共享存储器供代码操作）二、高级进程通信 用户直接利用操作系统提供的一组通信命令，高效地传送大量数据的通信 ...
分类：
系统相关 时间：
2018-11-27 13:05:28
阅读次数：
288
1.数据库原理 1.1文件存储 对数据的存储需求一直存在。数据保存的方式，经历了手工管理、文件管理，数据库管理阶段。 文件存储方式保存数据的弊端： 1.缺乏对数据的整体管理,数据不便修改；2.不利于数据分析和共享;3.数据量急剧增长,大量数据不可能长期保存在文件中。4.数据库应运而生，是人们存放数据 ...
分类：
数据库 时间：
2018-11-26 22:00:43
阅读次数：
225
相信大家都经常遇到这样的情况,我们在编码的过程中经常需要在调试代码的时候切换到本地的数据库上做修改调试,如果当测试数据库的数据在几十万或者上百万数据的时候,我们无论是通过恢复备份/导入SQL的方式来把数据导入到本地的MySQL数据库的时候,数据都是无法导入完成的,经常会遇到丢失数据的情况。解决方案: ...
分类：
数据库 时间：
2018-11-23 15:26:03
阅读次数：
242
在29epoch，我们在10,000个数字的测试集上达到了99.5％的准确率。正如你所看到的那样，第二个epoch时模型精确度达到了99％，而之前的模型只有16%。虽然0.05％可能不是很多，但在处理大量数据时这是一个重大改进。最后，我将向你展示如何在logits输出上使用np.argmax产生的预测。
分类：
Web程序 时间：
2018-11-21 21:10:00
阅读次数：
175
大数据环境下的机器学习 三种误解：模型不再重要（大量数据上复杂模型依然提升显著，大数据是的复杂模型充分利用数据且难以过拟合），相关性就足够了（因果关系重要性无法被替代），以前的研究方向不再重要（高性能计算和存储依然重要） 机遇和挑战：只过目一遍数据的学习，高度可解释的模型，低质量样本集上的学习 大数 ...
分类：
其他好文 时间：
2018-11-21 16:18:24
阅读次数：
193
