本来我一直想搭建一个hadoop分布式平台，没有高性能机器，也没有那么多机器，搞很很久，都没有能搞定。但基于docker，5-10min轻易搞定。 感谢大神KiwenLau的分享，网址是https://kiwenlau.com/2016/06/12/160612-hadoop-cluster-doc ...
分类：
其他好文 时间：
2019-12-12 11:37:41
阅读次数：
89
简述 在文本语义相似度等句子对的回归任务上，BERT , RoBERTa 拿到sota。 但是，它要求两个句子都被输入到网络中，从而导致巨大开销：从10000个句子集合中找到最相似的sentence-pair需要进行大约5000万个推理计算（约65小时）。 BERT不适合语义相似度搜索，也不适合非监 ...
分类：
Web程序 时间：
2019-12-11 23:26:27
阅读次数：
801
一，redis集群介绍 Redis cluster（redis集群）是在版本3.0后才支持的架构，和其他集群一样，都是为了解决单台服务器不够用的情况，也防止了主服务器宕机无备用服务器，多个节点网络互联数据共享，所有节点都是一主一从（也可以一主多从），其中不提供服务，只做为备份，emmm我就不多说废话 ...
开始之前，先参考我之前的文章，Ceph对象存储介绍与安装，https://blog.51cto.com/11093860/2456570Ceph对象网关将存储区索引数据存储在index_pool这个池中，默认值为default.rgw.buckets.index，有时，用户喜欢将多个对象（数十万到数百万个对象）放在一个存储桶中,如果不使用网关管理界面为每个存储桶中的最大对象设置配额，则当用户将大量
分类：
其他好文 时间：
2019-12-09 19:13:40
阅读次数：
309
上一篇入门基础部分对rocketmq进行了一个基础知识的讲解说明，在正式使用前我们需要进行环境的搭建，今天就来说一说rockeketmq分布式集群环境的搭建 ...
分类：
其他好文 时间：
2019-12-07 14:23:16
阅读次数：
121
①下载flink-1.7.2-bin-hadoop27-scala_2.11.tgz，解压后进入bin，双击：start-cluster.bat（Windows环境）。 然后打开7777端口： ②进入http://localhost:8081，界面如下： ③ ④ ⑤点击Submit ⑥结果 如下界面 ...
分类：
Web程序 时间：
2019-12-06 19:14:26
阅读次数：
238
K-Means方法是MacQueen1967年提出的。给定一个数据集合X和一个整数K（?n），K-Means方法是将X分成K个聚类并使得在每个聚类中所有值与该聚类中心距离的总和最小。 K-Means聚类方法分为以下几步： [1] 给K个cluster选择最初的中心点，称为K个Means。 [2] 计 ...
分类：
其他好文 时间：
2019-12-02 19:22:06
阅读次数：
111
需求 双十二要搞一个一分钱门票抢购的活动。 分析 性能分析，抢购时会发生高并发，如果仅仅依靠Mysql数据库，有可能因为大量的请求频繁访问数据库造成服务器雪崩，所以考虑通过Redis减库存,最终的数据落地到DB中。 在高并发的情况下，还要考虑到超卖的问题，因而打算使用Lua脚本完成原子减的操作。 在 ...
分类：
其他好文 时间：
2019-12-02 18:53:32
阅读次数：
120
在oracle 11.2.0.3、4 存在一个bug，crfclust.bdb 文件会无限增大，撑爆数据库空间， 处理 [root@rac1 bin]# /u01/app/11.2.0/grid/bin/crsctl stop res ora.crf -init 停止服务后，删除文件 [root@r ...
分类：
数据库 时间：
2019-11-28 20:49:19
阅读次数：
130
1. V7000配置1.1 POOL的划分V7000共建立3个Array，形成一个pool mdiskgrp0，总的可用空间70.63TB：1.2 LUN划分在mdiskgrp0这个pool里边新建3个LUN，每个大小1TB。1.3 将LUN分配给主机建立两个host，每个host包含2个wwpn.... ...
分类：
其他好文 时间：
2019-11-28 19:40:39
阅读次数：
125
