最近一直在看《大数据之路:阿里巴巴大数据实践》一书,读完之后感觉受益良多。第一,对于整个大数据的体系有了更多且清晰的认知;第二,对于不同系统的逻辑处理方式给予了引导;第三,毕竟是阿里多年技术的累计产出,而且都是阿里技术大牛写的,干货相当多;最后,如果对于大数据方向想有更深入的了解,推荐阅读本书。 ...
分类:
其他好文 时间:
2020-07-09 01:15:54
阅读次数:
107
Pandas 概述 Pandas是python中运用很广泛的统计分析库,用于各种金融、工业、等等统计分析,适用于各种时间序列和面板数据等。而对应于Pandas库,最主要的两个类分别是Series和DataFrame。Pandas是numpy的一种扩展,因此很多高级的数据计算方法也是来源numpy。 ...
分类:
其他好文 时间:
2020-07-05 15:53:25
阅读次数:
74
分享两种报表创建方式: 使用view 方式创建报表,即在数据库中创建view视图,非实体表,odoo中需要设置_auto=False create view view_table as ...; 使用实体表的方式,创建报表 然后再实体表查询时,即调用read_search方法时,重新往实体表填充数据 ...
分类:
其他好文 时间:
2020-06-30 13:03:49
阅读次数:
80
1,用数据做判断:布尔值: 计算机利用数据有三种方式:1.直接使用数据,2.计算和加工数据,3.用数据做判断 这个“判断”的过程,在计算机的世界里是如何发生的呢? 计算机的逻辑判断,只有两种结果,就是True(英文意思是“真”)和False(英文意思是“假”),没有灰色地带。这个计算真假的过程,叫做 ...
分类:
其他好文 时间:
2020-06-25 13:52:58
阅读次数:
47
数据来源层 数据库 日志 视频,ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka(存储少量数据) 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类:
其他好文 时间:
2020-06-22 00:56:04
阅读次数:
83
Hadoop 分布式系统基础结构 海量数据存储,海量数据计算 Hadoop指的是Hadoop生态圈 Google=》Hadoop GFS->HDFS Map-Reduce->MR BigTable->HBase Hadoop发行版本 Apache:最基础 Cloudera:大型互联网企业 Horto ...
分类:
其他好文 时间:
2020-06-21 23:10:42
阅读次数:
63
指针 C++ 中内存单元内容与地址 内存由很多内存单元组成,这些内存单元用于存放各种类型的数据。 计算机对内存的每个内存单元都进行了编号,这个编号就称为内存地址,地址决定了内存单元在内存中的位置。 记住这些内存单元地址不方便,于是C++语言的编译器让我们通过名字来访问这些内存位置。 举例 如果使用地 ...
分类:
编程语言 时间:
2020-06-05 10:25:09
阅读次数:
70
题目:在一个大文件中有10G个整数,乱序排列,要求找出中位数(内存有2G限制,不能一次全部加装),请写出算法设计思路。 中位数的定义:对于一个排序好的序列,如果数据有奇数个的话,中位数就取中间的一个;如果有偶数个的话,中位数一般取中间两个数的平均值。 解题: 思路一:堆排序(转换为求前5G大的元素) ...
分类:
其他好文 时间:
2020-05-29 17:33:39
阅读次数:
108
样本间的相关性,可以反映公司加样时是否存在重复加样的错误。 下面简要介绍一下如果利用甲基化数据计算样本间的相关性 ###1、提取甲基化探针的snp位点、CpG的beta值 下面用的示例文件是minfi包自带的。 如果是自己的数据,那么提取甲基化snp位点用的是没有经过过滤的原始数据。 首先,安装: ...
分类:
其他好文 时间:
2020-05-26 19:59:43
阅读次数:
75
一、computed: 模板内表达式非常便利,可用于简单计算,当模板内放入太多的逻辑时,模板会过重且难以维护;可以使用computed替代 计算属性是基于它们的响应式依赖进行缓存的,当依赖的响应式数据发生改变时,计算属性才会改变; 如果时非响应式(未在data中声明)数据,计算属性是不会发生改变的; ...
分类:
其他好文 时间:
2020-05-22 17:34:27
阅读次数:
60