导读：伴随着AI的兴起，越来越多的智能产品诞生，算法链路也会变得越来越复杂，在工程实践中面临着大量算法模型的从0到1快速构建和不断迭代优化的问题，本文将介绍如何打通数据分析 样本标注 模型训练 监控回流的闭环，为复杂算法系统提供强有力的支持。 新技术/实用技术点： 1. 实时、离线场景下数据加工的方 ...
分类：
编程语言 时间：
2020-02-24 18:17:50
阅读次数：
100
该系列总览: Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览 首先，我们要提出HDFS存储特点： 1.高容错 2.一个文件被切成块(新版本默认128MB一个块)在不同的DataNode存储 3.客户端通过流水线，在NameNode的调节下，将数据以Packet的形 ...
分类：
其他好文 时间：
2020-02-20 23:37:02
阅读次数：
101
一、相关知识点总结1、CSS .css() - .css("color") -> 获取color css值 - .css("color", "#ff0000") -> 设置值 - .css({"color": "#cccccc", "border": "1px solid #ff0000"}) -> ...
分类：
Web程序 时间：
2020-02-20 15:11:20
阅读次数：
106
今天整了一下前端的界面，在搞导航栏完成了一部分，框架搭建起来了 暂时放下了第五个实验的第2题，开始做第三题： 第三题实验内容： 3. 编程实现利用 DataFrame 读写 MySQL 的数据 （1）在 MySQL 数据库中新建数据库 sparktest，再创建表 employee，包含下面两行数据 ...
分类：
其他好文 时间：
2020-02-10 11:40:05
阅读次数：
55
先要配置环境： 下载地址： 1，Free Spire.Doc for Java 下载网址：https://www.e-iceblue.cn/Downloads/Free-Spire-Doc-JAVA.html 2，因为我的是java 9.0 所以运行代码的时候会报一些错误：网上的解决办法大多是要降版 ...
分类：
编程语言 时间：
2020-02-08 00:12:57
阅读次数：
113
今天完成了实验任务五-Spark SQL 编程初级实践 编程实现利用 DataFrame 读写 MySQL 的数据 (1) 在 MySQL 数据库中新建数据库 sparktest，再建表 employee，包含下列两行数据； 表 1 employee 表原有数据 id name gender age ...
分类：
其他好文 时间：
2020-02-07 14:32:42
阅读次数：
88
What is a meta table a meta table has a __name attr whose value is name of metatable a meta table is stored in LUA_REGISTRYINDEX whose key is its name ...
分类：
其他好文 时间：
2020-02-06 16:17:42
阅读次数：
69
DataFrame创建方式应该按照数据源进行划分，数据源是：普通的txt文件、json/parquet文件、mysql数据库、hive数据仓库 1、普通txt文件： （1）case class 创建 （2）structType 创建 2、json/parquet文件： 直接读取 3、mysql数据库 ...
分类：
其他好文 时间：
2020-02-03 14:04:07
阅读次数：
93
开始尝试sparkSQL的尝试编程。 SparkSQL总体来说就是spark中的hive，但麻烦的一点是spark官网下载的并不自带对hive的支持，所以不能使用外部的hive。之后解决。 首先创建了一个json文件用来创建DataFrame，内容为： { "id":1 , "name":" Ell ...
分类：
其他好文 时间：
2020-02-01 23:18:31
阅读次数：
97
rolmean = pd.rolling_mean(timeseries, window=12) rolstd = pd.rolling_std(timeseries, window=12) 会有报错 AttributeError: module 'pandas' has no attribute ...
分类：
其他好文 时间：
2020-02-01 16:04:07
阅读次数：
130
