https://blog.csdn.net/weixin_43087634/article/details/84398036 2、什么是DataFrame 在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。 3、RDD和DataFrame的区别 Da ...
分类：
其他好文 时间：
2020-02-20 09:59:48
阅读次数：
70
coco与voc数据集下载 在远程服务器上测试目标检测算法需要用到测试集，最常用的是coco2014/2017和voc07/12数据集。 coco数据集的地址为http://cocodataset.org/ download voc和coco的镜像为https://pjreddie.com/proj ...
分类：
其他好文 时间：
2020-02-18 13:15:10
阅读次数：
464
spark核心之RDD 什么是RDD RDD指的是弹性分布式数据集 ，它是spark计算的核心。尽管后面我们会使用DataFrame、Dataset进行编程，但是它们的底层依旧是依赖于RDD的。我们来解释一下RDD 的这几个单词含义。 + + + RDD是spark的一个最基本的抽象 ，它代表了不可 ...
分类：
其他好文 时间：
2020-02-17 00:57:46
阅读次数：
125
张宁 A RUGD Dataset for Autonomous Navigation and Visual Perception in Unstructured Outdoor Environments Maggie Wigness, Sungmin Eum, John G. Rogers III ...
分类：
其他好文 时间：
2020-02-16 21:00:52
阅读次数：
200
dataset.py ''' 准备数据集 ''' import torch from torch.utils.data import DataLoader from torchvision.datasets import MNIST from torchvision.transforms impor ...
分类：
其他好文 时间：
2020-02-15 23:15:44
阅读次数：
108
弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算。现有的数据流系统对两种应用的处理并不高效：一是迭代式算法，这在图应用和机器学习领域很常见；二是交互式数据挖掘工具 ...
分类：
其他好文 时间：
2020-02-09 23:55:54
阅读次数：
139
在“手写数字识别”案例的快速入门中，我们调用飞桨提供的API（paddle.dataset.mnist）加载MNIST数据集。但在工业实践中，我们面临的任务和数据环境千差万别，需要编写适合当前任务的数据处理程序。 但是编写自定义的数据加载函数，一般会涉及以下四个部分： 数据读取与数据集划分 定义数据 ...
分类：
其他好文 时间：
2020-02-09 16:19:06
阅读次数：
93
查看数据本身也是一个很好理解数据的方法，通过查看数据可以直观的看到数据的特征，数据的类型以及大概的数据分布范围。 1 #查看数据的前10行 2 print(dataset.head(10)) separ-length separ-width petal-length petal-width clas ...
分类：
系统相关 时间：
2020-02-08 11:23:23
阅读次数：
102
Redis简介 Redis是一款开源的，ANSI C语言编写的，高级键值(key-value)缓存和支持永久存储NoSQL数据库产品。 Redis采用内存(In-Memory)数据集(DataSet) 。 支持多种数据类型。 运行于大多数POSIX系统，如Linux、*BSD、OS X等。 作者： ...
分类：
其他好文 时间：
2020-02-08 09:28:54
阅读次数：
81
今天学习SparkSQL方面的知识 该模型允许你使用SQL或者DataFrame或DataSet进行关系型查询 Spark SQL划分为四个子项目: Catalyst (sql/catalyst) - 解析关系操作算子和表达式的语法树的实现框架 Execution (sql/core) - 代表pl ...
分类：
其他好文 时间：
2020-02-07 22:13:50
阅读次数：
85
