大数据时代,数据的价值越来越被重视,企业从海量大数据中挖掘所需要的信息,用来驱动业务决策以获得更大的商业价值。与此同时,出现了越来越多的大数据技术帮助企业进行大数据分析,例如ApacheHadoop,Hive,Spark,Presto,Drill,以及今天我们即将介绍的ApacheKylin和ApachePhoenix项目等,都是使用SQL语言就可以分析大数据,极大地降低了大数据的使用门槛。这些大
分类:
数据库 时间:
2019-05-17 12:15:44
阅读次数:
216
问题 一个文件中有9亿条 不重复 的9位整数,对这个文件中数字进行排序 直接想法 9亿条(9e8)数据,每个数据能用int存储 因此所需要内存 9e8 4B = 3.6e9B = 3.6GB ,这是装载所需要的 排序复杂度一般都是nlogn 因此需要的内存更大 方法一 数据库排序 将文本文件导入到数 ...
分类:
编程语言 时间:
2019-04-12 23:19:30
阅读次数:
631
Android的四大组件:activity(活动)1、一个activity通常是一个独立的屏幕。2、activity通过intent通讯。3、在Androidmanifest.xml声明即可识别执行。注意该文件还可以注册某些权限:如访问互联网。service(服务)、1、定义:用于后台完成用户指定的 ...
分类:
移动开发 时间:
2019-03-19 10:43:53
阅读次数:
265
本文进行了以下工作: 预备知识 和各种大型关系型数据库(如sql server和oracle等)一样,Hadoop有自己的文件系统,在操作系统中只能看到文件,用文件工具强制打开以后是无法理解的乱码,只能通过Hadoop系统去管理和读取。 所以OS的文件系统和hadoop的文件系统是相互独立的,要用h ...
分类:
其他好文 时间:
2019-02-18 10:16:45
阅读次数:
240
1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com) 是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟“零代码”就可以生成API,让API开发从未有过如此便捷!同时支持自定义API查询SQL功能,对您的个 ...
分类:
其他好文 时间:
2019-01-25 17:38:10
阅读次数:
216
其旨在打造一个集应用开发、大数据存储、处理、分布式计算、自动化部署的无节点微服务集中开发与运行平台,以响应业务的快速变更,满足系统对大数据,大并发与开发效率的需求; 平台设计以数据为核,以groovy脚本为基础,通过提供api、异步消息处理、调度等基础构件来支持应用的快速开发; 核心是通过整合现有开 ...
分类:
其他好文 时间:
2019-01-23 13:50:37
阅读次数:
190
https://mp.weixin.qq.com/s?__biz=MzU1NDA4NjU2MA==&mid=2247494843&idx=2&sn=0dd20caec76e25b80e86ec5ce01868ef&chksm=fbea5574cc9ddc62927fce397c2e05b5e9ac0 ...
分类:
Web程序 时间:
2019-01-17 19:37:18
阅读次数:
251
12月28日,“铁威马西部数据渠道交流会”在深圳中航格兰云天大酒店顺利举行,本次交流会向大家介绍了铁威马和西部数据的多款产品,反响热烈。现场50多位渠道代理经销商参加,共同交流学习铁威马NAS和西部数据红盘产品。铁威马作为国际知名存储品牌,在本次交流会重点展示雷电3系列产品和NAS网络存储,还有全新推出的TOS4.0系统,交流会期间除了有西部数据红盘外,还有铁雷电3产品和NAS网络存储服务器供大家
分类:
其他好文 时间:
2019-01-03 10:51:36
阅读次数:
171
Redis是也叫NoSql是一种非关系型数据库,它不能替代关系弄数据库,只是关系型数据库的一个补充,是可以解决高并发、高可用、高扩展、大数据存储等一系列问题而产生的数据库解决方案。首先创建一个redis目录:mkdir/usr/local/redis进入刚创建的目录:cd/usr/local/redis/下载redis安装包wgethttp://download.redis.io/releases
分类:
其他好文 时间:
2018-12-29 18:30:47
阅读次数:
176
上个月参加了一个云存储的技术讨论会。这一个月里,陆续收到几位同学讨论大数据保存和处理的邮件。今天是周末,索性把这个月的交流内容整理写下来,供各位参考。 目前大数据存储有两种方案可供选择:行存储和列存储。业界对两种存储方案有很多争持,集中焦点是: 谁能够更有效地处理海量数据,且兼顾安全、可靠、完整性。 ...
分类:
其他好文 时间:
2018-12-19 12:57:10
阅读次数:
178