近日,由中国移动通信联合会区块链专业委员会、数字岛和塔智库联合主办,中关村大数据产业联盟协办,北京邮电大学技术转移中心、北京邮电大学区块链及安全技术联合实验室提供学术支持的《2020中国区块链战“疫”活动》应用方案征集暨评选活动获奖企业名单,今日正式公布,包括杭州复杂美科技“33慈善平台”在内的多个区块链+战“疫”优秀产品入选并公示。据悉,此次活动旨在征集区块链+大数据、人工智能等新一代信息技术在
分类:
其他好文 时间:
2020-07-06 19:26:09
阅读次数:
87
(一) [client]port = 3306socket = /tmp/mysql.sock [mysqld]port = 3306socket = /tmp/mysql.sock basedir = /usr/local/mysqldatadir = /data/mysqlpid-file = ...
分类:
数据库 时间:
2020-07-06 17:52:22
阅读次数:
57
大数据之所以受到了广泛的关注,一个重要的原因就是大数据开辟了新的价值领域,这一点是非常关键的。新的价值领域就会打造一系列生态体系,而生态体系又会孕育出大量不同的商业模式,而这个过程也会伴随着大量的创新,所以当前基于大数据的创业项目也非常多。大数据让互联网(物联网)上源源不断的数据拥有了价值,让整个社会对于互联网有了新的认知。大数据技术的相关岗位需求也越来越大,而今天我们就简单来了解一下,大数据
分类:
其他好文 时间:
2020-07-06 16:34:57
阅读次数:
343
Spark 分组取Top N运算 大数据处理中,对数据分组后,取TopN是非常常见的运算。 下面我们以一个例子来展示spark如何进行分组取Top的运算。 1、RDD方法分组取TopN from pyspark import SparkContext sc = SparkContext() 准备数据 ...
分类:
其他好文 时间:
2020-07-06 16:11:05
阅读次数:
78
MySQL实验 内连接优化order by+limit 以及添加索引再次改进 在进行子查询优化双参数limit时我萌生了测试更加符合实际生产需要的ORDER BY + LIMIT的想法,或许我们也可以对ORDER BY + LIMIT 也进行适当优化 实验准备 使用MySQL官方的大数据库emplo ...
分类:
数据库 时间:
2020-07-06 16:06:18
阅读次数:
56
Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的,基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点,并且设计用来部署在低廉的硬件上,适合那些有着超大数据集的应用程序 MapR ...
分类:
其他好文 时间:
2020-07-06 15:47:59
阅读次数:
67
简介: Sphinx 是一款基于SQL的高性能全文检索引擎 快速创建索引:3分钟左右即可创建近100万条记录的索引,并且采用了增量索引的方式,重建索引非常迅速。 闪电般的检索速度:尽管是1千万条的大数据量,查询数据的速度也在毫秒级以上,2-4G的文本量中平均查询速度不到0.1秒。 为很多脚本语言设计 ...
分类:
其他好文 时间:
2020-07-05 19:44:35
阅读次数:
121
题目描述 给你一个 \(n\) 行 \(m\) 列( $1 \le n,m \le 100$ )的二维迷宫,一开始你在迷宫的左上角的格子 \((1,1)\) 处(我们用位置 \((x,y)\) 来表示第 \(x\) 行第 \(y\) 列),你要走到右下角的格子 \((n,m)\) 处 ,但是你是不能 ...
分类:
其他好文 时间:
2020-07-05 19:35:29
阅读次数:
57
?大数据的概念 大数据 (BigData) :指无法在一 定时间范围内用常规软件 工具进行捕捉、 管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决,海量数据的存储和海量数据的分析计算问题。 大数据特点 大量、高速、多样 ...
分类:
其他好文 时间:
2020-07-05 19:03:04
阅读次数:
87
1、选取最适用的字段属性 MySQL可以很好的支持大数据量的存取,但是一般说来,数据库中的表越小,在它上面执行的查询也就会越快。因此,在创建表的时候,为了获得更好的性能,我们可以将表中字段的宽度设得尽可能小。例如,在定义邮政编码这个字段时,如果将其设置为CHAR(255),显然给数据库增加了不必要的 ...
分类:
数据库 时间:
2020-07-05 19:02:10
阅读次数:
61