一、数据预处理 1.1、在hdfs上新建目录 java程序启动前先在hdfs上建立相应文件夹，用于上传本地数据和处理后的数据 [root@hadoop102 ~]# hdfs dfs -mkdir -p /USAdatas/geodatas/inputs [root@hadoop102 ~]# hd ...
分类：
数据库 时间：
2021-06-18 19:17:01
阅读次数：
0
日常报错（累~）： 小编最近用yolact对BraTS数据集做预测，验证结果如下： 发现ET对于Dice和PPV太小了，根据公式，我一开始以为是模型预测的区域过多导致的。 后面生成图片观察： 忽然之间，意识到，是自己的target生成错了。笔者对这个三个区域，首先是采用边缘提取，获取边缘的坐标，之后 ...
分类：
其他好文 时间：
2021-06-13 10:35:43
阅读次数：
0
###1.了解数据 01.数据量是多少？ -总的数据个数，存储空间的大小 -分的数据个数，存储空间的大小 分： 数据类型有哪些？ -- 文件夹 文件 时间周期 -- 02.了解数据分布 最大的数据多少，最小的呢，平均情况 有无异常文件--空文件夹 find ./ -maxdepth 1 -type ...
分类：
其他好文 时间：
2021-05-03 12:01:55
阅读次数：
0
引入Pandas，用于有关数据处理和分析的环节。 一、读取数据文件 1 .读取excel数据文件 1.1加载Excel表，使用skiprows=1跳过首行【对于一个excel文件，首行一般为字段的定义（标题行），第二行才为数据】 并指定加载的列，注意数据文件的编码，默认utf-8，常用还有gb231 ...
分类：
其他好文 时间：
2021-04-29 11:36:23
阅读次数：
0
一、数据集简介 二、MNIST数据集介绍 三、CIFAR 10/100数据集介绍 四、tf.data.Dataset.from_tensor_slices() 五、shuffle()随机打散 六、map()数据预处理 七、实战 import tensorflow as tf import tenso ...
分类：
其他好文 时间：
2021-04-05 12:08:27
阅读次数：
0
@ControllerAdvice，顾名思义，这是一个增强的 Controller。使用这个 Controller ，可以实现三个方面的功能： 全局异常处理 全局数据绑定 全局数据预处理 全局异常处理 使用 @ControllerAdvice 实现全局异常处理，只需要定义类，添加该注解即可定义方式如 ...
分类：
其他好文 时间：
2021-02-05 10:33:02
阅读次数：
0
一个重要的闭环： 机器学习-数据挖掘的流程（CRISP-DM）：围绕数据进行如下6个活动进行闭环式地探索活动 商业理解 数据理解 数据准备 建立模型 模型评估 方案实施 一个重要的概念： 特征工程：最大限度地从原始数据中提取特征以供算法和模型使用，包括如下几个主要部分： 数据预处理：标准化、缩放、缺 ...
分类：
其他好文 时间：
2021-01-06 11:47:45
阅读次数：
0
一、数据预处理 sentence sentences是训练所需材料，可通过两种格式载入：1、文本格式：将每篇文章 分词去停用词后，用空格分割，将其存入txt文本中（每一行一篇文章） 2、list嵌套格式将每篇文章 分词去停用词后，存入list中。即[ [第一篇文章分词结果] , [第二篇文章分词结果 ...
分类：
编程语言 时间：
2020-12-25 11:47:33
阅读次数：
0
目录 学习 数据挖掘的流程 数据预处理->数据探索->模型训练->模型选择->模型评估 模型选择 模型选择是对超参数的选择，通过校验集，来看看模型那一组超参数有更好的效果 模型评估 参考资料 分类：分类问题的常用评估指标有准确率(accuracy)、精确率(precision)、召回率(recall ...
分类：
其他好文 时间：
2020-12-18 13:19:35
阅读次数：
4
目录推荐系统一、导入模块二、收集数据三、数据预处理3.1 无评分电影处理四、协同过滤算法-基于用户的推荐4.1 余弦相似度4.2 数据标准化处理五、预测六、测试 更新、更全的《机器学习》的更新网站，更有python、go、数据结构与算法、爬虫、人工智能教学等着你：https://www.cnblog ...
分类：
其他好文 时间：
2020-12-15 12:39:54
阅读次数：
2
