Tuning Spark 数据序列化 内存调优 内存管理概述 确定内存消耗 调整数据结构 序列化 RDD 存储 垃圾收集调整 其他注意事项 并行度水平 减少任务的内存使用 广播大的变量 数据本地化 概要 内存管理概述 确定内存消耗 调整数据结构 序列化 RDD 存储 垃圾收集调整 并行度水平 减少任 ...
分类：
其他好文 时间：
2019-01-24 11:06:06
阅读次数：
171
Python 19 1. json与pickle模块 什么是序列化和反序列化 序列化：是将内存中的数据结构，转换成一种中间格式，将转化后的中间格式存储到硬盘，或者基于网络传输 反序列化：是将硬盘中或者网路中传过来的中间格式，转换成内存中的数据结构 2. 序列化和反序列化有什么用 将状态通过中间格式存 ...
分类：
Web程序 时间：
2018-06-20 15:44:32
阅读次数：
183
首先是把tensorflow克隆到本地一份。 既然是谷歌官方要求的，最好把--recurse-submodules加上，文档说可以避免一些数据结构序列化时的编译问题。 这是android demo的github主页。 准备编译 1.安装bazel bazel是谷歌自己的构建工具。tensorflow ...
分类：
移动开发 时间：
2017-10-27 17:47:25
阅读次数：
282
1. 概述 protobuf（Protocol Buffers ）是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 API。 特点：
结构数据串行化，灵活、高效、自动。
相对XML，更...
分类：
其他好文 时间：
2015-08-05 10:34:46
阅读次数：
139
Elasticsearch是一个分布式的文档(document)存储引擎。它可以实时存储并检索复杂数据结构——序列化的JSON文档。换言说，一旦文档被存储在Elasticsearch中，它就可以在集群的任一节点上被检索。
当然，我们不仅需要存储数据，还要快速的批量查询。虽然已经有很多NoSQL的解决方案允许我们以文档的形式存储对象，但它们依旧需要考虑如何查询这些数据，以及哪些字段需要被索引以便检...
分类：
其他好文 时间：
2015-07-16 16:45:36
阅读次数：
24587
前言：
本文以C++语言作为讲解序列化的作用。
序列化是什么？
一般说到序列化，其实是包含了反序列化。
以C++为例，序列化就是将结构体（或者是类）等复杂的数据结构的各个属性有序地保存到字符数组。而反序列化就是将有序的字符数组还原回结构体（或者是类）等复杂的数据结构。
序列化作用
1、方便网络传输
我们都知道，socket的数据都是以字符串进行传输，而序列化的作用就是...
分类：
其他好文 时间：
2015-03-12 09:51:14
阅读次数：
126
Spark 优化
· 数据序列化
· 内存优化
o 确定内存使用
o 调整数据结构
o 序列化的RDD存储
o 垃圾回收调整
· 其它注意事项
o 并行粒度
o Reduce任务内存使用
o 广播大的变量
o 数据本地性
· 总结
基于内存的计算（当然也可以用磁盘）是Spark的一个重...
分类：
其他好文 时间：
2015-02-10 13:31:11
阅读次数：
204
Golang Gob编码2012-08-24 09:47 by 轩脉刃, 5119 阅读, 1 评论, 收藏, 编辑gob是Golang包自带的一个数据结构序列化的编码/解码工具。编码使用Encoder，解码使用Decoder。一种典型的应用场景就是RPC(remote procedure call...
分类：
其他好文 时间：
2014-12-20 11:34:33
阅读次数：
324
Spark调优本文系根据官方文档翻译而来，转载请注明本文链接 http://www.oschina.net/translate/spark-tuning?print数据序列化内存优化确定内存用量调整数据结构序列化RDD存储垃圾收集调整其他考虑因素并行化水平Reduce任务的内存用量Broadcast...
分类：
Web程序 时间：
2014-11-24 09:56:40
阅读次数：
335
