MapReduce能够计算非常复杂的聚合逻辑,非常灵活,但是,MapReduce非常慢,不应该用于实时的数据分析中。MapReduce能够在多台Server上并行执行,每台Server只负责完成一部分wordload,最后将wordload发送到MasterServer上合并,计算出最终的结果集,返回客户端。MapReduce的基本思想,如下图所示:在这个例子中,我们以一个求和为例。首先执行Map
分类:
数据库 时间:
2020-09-18 00:43:16
阅读次数:
38
MongoDB 4升级提示 /var/run/mongod.pid: Invalid argument` ...
分类:
数据库 时间:
2020-08-04 18:14:46
阅读次数:
76
pymongo操作 MongoDB的一些方法: .数据库.表.delete_one( ) .数据库.表.insert_one( ) 新增一条 字典类 .数据库.表.insert_many( ) 新增多条 字典类 .数据库.表.replace_one( ) .数据库.表.update_one( ) . ...
分类:
其他好文 时间:
2020-07-26 19:14:01
阅读次数:
62
redis常用命令 1、SET key1 value1 例:SET runoobkey redis 2、DEL key1 例:DEL runoobkey 3、GET key1 例:GET runoobkey 4、LPUSH key1 value1 例:LPUSH runoobkey redis 向列 ...
分类:
其他好文 时间:
2020-07-26 00:01:06
阅读次数:
66
1、从服务器上下载文件 scp root@39.107.80.119:/var/www/test.js 把192.168.0.101上的/var/www/test.js 的文件下载到/var/www/local_dir(本地目录) 2、上传本地文件到服务器 scp /var/www/test.js ...
分类:
系统相关 时间:
2020-07-23 23:15:26
阅读次数:
110
1、任务(tasks)–用户定义的函数,用于实现用户的功能,比如执行一个耗时很长的任务 2、中间介(Broker)–用于存放tasks的地方,但是这个中间介需要解决一个问题,就是可能需要存放非常非常多的tasks,而且要保证Worker能够从这里拿取 3、执行者(Worker)–用于执行tasks, ...
分类:
其他好文 时间:
2020-07-23 15:52:53
阅读次数:
69
首先要启动MongoDB服务器 先找到你的mongoDb安装目录,我的如下:就在bin文件夹下创建一个data文件夹,data内包含两个空文件夹,如下: 接着回到bin文件夹处,按住shift键,右击bin文件夹,在此处打开命令行接着输入命令 mongod --dbpath …/data/db 或者 ...
分类:
数据库 时间:
2020-07-22 20:54:18
阅读次数:
96
cmd 1 mongod --dbpath D:\mongoDB\database\data 另外开一个新的cmd 1 mongo ...
分类:
数据库 时间:
2020-07-17 22:20:37
阅读次数:
75
1、下载地址 https://www.mongodb.org/dl/win32/2、配置环境变量3、在c盘根目录创建一个文件夹data,在data中创建一个文件夹db4、在cmd命令行,输入mongod,启动MongoDB服务器(32位注意,第一次启动服务器时,需要输入如下内容 mongod --s... ...
分类:
数据库 时间:
2020-07-15 23:27:19
阅读次数:
89
主要是一些安装的软件,以及查看命令,查看版本信息以及安装信息,第一行基本上是执行命令,其他是执行后展示内容 1、JDK $ java --version openjdk 14.0.1 2020-04-14 OpenJDK Runtime Environment AdoptOpenJDK (build ...