hadoop1.X架构 架构模型 分布式文件系统核心模块: namenode:集群中的主节点,管理元数据(文件的大小,文件的位置,文件的权限)。 secondaryNameNode:辅助namenode管理元数据信息。 dadanode:集群当中的从节点,主要存储集群中的各种数据。 分布式数据计算核 ...
分类：
其他好文 时间：
2020-12-28 11:29:22
阅读次数：
0
评测时如何构造训练数据分布与测试数据分布保持一致在很多评测的时候，主办方只会给我们标准数据，并不会给我们测试数据，这个时候，如果我们用标准数据来训练，但是在真实的测试过程中，输入数据的并不会是标准数据，这会导致训练与测试的两个过程中的数据分布不一样，那么自然最后的结果不一样。那么评测时如何构造训练数据分布与测试数据分布一致呢？昨天在问了德川之后，我们一个评测中的处理办法如下：评测的内容是得到句法分
分类：
其他好文 时间：
2020-11-27 11:25:42
阅读次数：
9
一、缘起（1）并发量大，流量大的互联网架构，一般来说，数据库上层都有一个服务层，服务层记录了“业务库名”与“数据库实例”的映射关系，通过数据库连接池向数据库路由sql语句以执行：如上图：服务层配置用户库user对应的数据库实例物理位置为ip（其实是一个内网域名）。（2）随着数据量的增大，数据要进行水平切分，分库后将数据分布到不同的数据库实例（甚至物理机器）上，以达到降低数据量，增强性能的扩容目的：
分类：
数据库 时间：
2020-11-18 13:09:39
阅读次数：
15
一篇文章带你深入理解Zookeeper本文来自作者投稿，作者：林湾村龙猫，Hollis做了一些修改和补充。随着互联网技术的发展，大型网站需要的计算能力和存储能力越来越高。网站架构逐渐从集中式转变成分布式。虽然分布式和集中式系统相比有很多优势，比如能提供更强的计算、存储能力，避免单点故障等问题。但是由于采用分布式部署的方式，就经常会出现网络故障等问题，并且如何在分布式系统中保证数据的一致性和可用性也
分类：
其他好文 时间：
2020-10-29 09:26:49
阅读次数：
18
数据 就目前来说，提升算法性能的更加可靠的方法仍然是训练更大的网络以及获取更多的数据 不要武断地认为测试集分布和训练集分布是一致的，仔细地评估数据集非常重要 开发集和测试集应该与你最终想要解决的数据分布一致，而训练集则未必需要符合这个要求 在训练数据不足的情况下，你可以尝试引入额外的训练数据，只要它 ...
分类：
系统相关 时间：
2020-09-16 12:42:19
阅读次数：
51
一、seaborn介绍 seaborn是python中基于Matplotlib包具有更多可视化效果和耿玉梅的可视化模块，可以说Matplotlib的封装。当我们想要探索单个或者一对数据分布上的特征时，可以使用seaborn中内置的若干函数对数据的分布进行多种多样的可视化。 二、kdeplot 对于单 ...
分类：
其他好文 时间：
2020-09-14 18:57:17
阅读次数：
33
学好统计学，让你成为高富帅，迎娶白富美，走上人生巅峰，不是不可能，但可能性只有0.00001%。从统计学的角度，这是小概率事件。但是学好统计学的现实好处多多，我就随便举几个例子给大家听听。学会看问题，懂得数字的意义。新闻报道上，各种各样的数字随处可见，如果你不想被各种数字蒙骗，最好学点统计学。学过统计的人，当看到这样的数字的时候，就会多问几个为什么，就能明白数字背后的真实含义了。用数据说话，让你的
分类：
其他好文 时间：
2020-09-10 22:40:28
阅读次数：
51
主攻个人数据分布式存储的HDFS的优势在哪？互联网的纪元中，数据就是一切，互联网环境下任何人的一切活动都会在网络中留下属于自己的印迹—数据碎片，这些我们不经意间留下的数据碎片如果被有心人收集、利用起来会对我们个人的兴趣爱好甚至是隐私产生不利的影响。不知道你有没有这样的体验，当你用搜索引擎了解某种商品之后，某些电商平台会给你不断的推送类似的商品，显然这不是巧合而是你的某些数据“出卖”了你的意图。随着
分类：
其他好文 时间：
2020-09-02 16:46:50
阅读次数：
47
Mycat是什么？ Mycat 是数据库中间件。主要是做数据分布式存储，也有Atlas普通版的读写分离功能，其最重要还是分布式 Mycat是java语言开发的。是一个开源的分布式数据库系统，是一个实现了MySQL协议的的Server，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令 ...
分类：
其他好文 时间：
2020-08-28 14:44:00
阅读次数：
52
一、模型评估与选择 2.2.1留出法 1、直接将数据集划分为两个互斥的集合，即D=sUt,s∩t=空集 2、在s上训练出模型，用t来评估其测试误差 3、s/t的划分尽可能保持数据分布的一致性，至少要保持样本的类别比例相似 4、若s，t中的样本比例差别很大，则误差估计将由训练/测试数据分布的差异而产生 ...
分类：
其他好文 时间：
2020-08-28 11:48:55
阅读次数：
52
