阿里云容器服务团队与 Alluxio 开源社区和南京大学顾荣老师等人通力合作寻找相关解决方案，当前已经提供 K8s 上运行模型训练数据加速的基础方案，包括容器化部署、生命周期管理以及性能优化（持续中），从而降低数据访问高成本和复杂度，进一步助力云上普惠 AI 模型训练。
分类：
其他好文 时间：
2020-05-13 12:30:18
阅读次数：
61
【摘要】 问题 KPI异常检测项目需要对设备内多模块、多类型数据，并根据波形以及异常表现进行分析，这样的数据量往往较大，对内存和性能要求较高。同时，在设计优化算法时，需要快速得到训练及测试结果并根据结果来调整算法，因此进一步要求计算内存和性能达到较高的水平。当前，本地安全PC性能难以满足调试要求，难 ...
分类：
其他好文 时间：
2020-05-12 11:59:31
阅读次数：
85
1.理解分类与监督学习、聚类与无监督学习。 简述分类与聚类的联系与区别。 答：联系：聚类属于无监督学习，即模型训练过程中没有被目标标签监督。而分类属于监督学习，即其训练数据都标记了需要被预测的真实值。在很多情况下，聚类模型等价于分类模型的无监督形式。 区别：分类是事先定义好类别 ，类别数不变 。分类 ...
分类：
编程语言 时间：
2020-05-10 21:10:07
阅读次数：
59
1、模型结构图 2、随机测试模型 3、训练logs 2020-05-10T11:28:20.491640: Step 4, loss_total = 28.22, acc = 2.23%, sec/batch = 1.23 2020-05-10T11:28:27.849279: Step 9, lo ...
分类：
编程语言 时间：
2020-05-10 14:30:17
阅读次数：
81
深度学习模型训练过程 一．数据准备 1. 基本原则： 1）数据标注前的标签体系设定要合理 2）用于标注的数据集需要无偏、全面、尽可能均衡 3）标注过程要审核 2. 整理数据集 1）将各个标签的数据放于不同的文件夹中，并统计各个标签的数目 2）样本均衡，样本不会绝对均衡，差不多就行了 3）切分样本集 ...
分类：
其他好文 时间：
2020-05-03 20:19:25
阅读次数：
462
信息来源：智能推荐算法在直播场景中的应用，王洋 作者通过工程实践的角度介绍了直播过程中的用户推荐，几个重点总结一下。 1.数据的隐式反馈和显式反馈 2.显式反馈常用方法 3.隐式反馈常用方法 线上使用： 4.优缺点分析 召回模型是一种粗排思想，特点就是速度快 5. 特征分析 6.模型训练及更新 ...
分类：
其他好文 时间：
2020-04-29 20:17:26
阅读次数：
55
1. 应用K-means算法进行图片压缩 读取一张图片 观察图片文件大小，占内存大小，图片数据结构，线性化 用kmeans对图片像素颜色进行聚类 获取每个像素的颜色类别，每个类别的颜色 压缩图片生成：以聚类中收替代原像素颜色，还原为二维 观察压缩图片的文件大小，占内存大小 2. 观察学习与生活中可以 ...
分类：
编程语言 时间：
2020-04-18 23:18:13
阅读次数：
72
1. 数据预处理；2. 特征工程；3. 模型选择/融合；4. 模型训练/测试；5. 其他问题；6. 模型评估。 ...
分类：
其他好文 时间：
2020-04-18 23:05:16
阅读次数：
129
一.背景 1.概率：在多元下，（1）联合概率：两个事件同时发生的概率P(A,B) ，（2）条件概率：在某一事件A条件下，另一事件B发生的概率P(B|A)，（3）边缘概率：某一事件发生的概率P(A); 2.独立事件：两个没有任何关系的事件互为独立事件，此时两个事件的联合概率为两者概率相乘P(A,B)= ...
分类：
其他好文 时间：
2020-04-18 21:22:48
阅读次数：
116
我们在协助某AI客户排查一个UFS文件存储的性能case时发现，其使用的Pytorch训练IO性能和硬件的IO能力有很大的差距（后面内容有具体性能对比数据）。让我们感到困惑的是：UFS文件存储，我们使用fio自测可以达到单实例最低10Gbps带宽、IOPS也可达到2w以上。该AI客户在高IOPS要求的AI单机小模型训练场景下，或者之前使用MXNet、TensorFlow框架时，IO都能跑到UFS理
分类：
其他好文 时间：
2020-03-28 09:14:38
阅读次数：
119
