金融行业架构转型需求随着移动化与互联网化的不断发展，我国金融行业的商业模式与技术体系已经逐渐走上了与西方世界完全不同的道路。众所周知，欧美国家的移动化普及率远远不如我国，同时人口基数也有着数量级的不同，这就使得国内外金融行业所面临的业务类型、数据量、并发量都存在巨大的差异，导致对整个IT基础设施的需求截然不同。在最近的一两年中，国内部分科技领先的银行已经率先对微服务与分布式技术进行了探索，一些新建
分类：
数据库 时间：
2019-06-27 11:05:50
阅读次数：
152
2019/2/16星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具，使用方便，功能丰富，使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
分类：
其他好文 时间：
2019-02-17 09:17:32
阅读次数：
201
Spark2.x企业级大数据项目实战（实时统计、离线分析和实时ETL）全套课程下载：https://pan.baidu.com/s/1mje6bAoLLPrxUIrM-C2VMg提取码:9n1x本门课程来源于一线生产项目，所有代码都是在现网大数据集群上稳定运行，拒绝Demo。课程涵盖了离线分析、实时分析绝大部分的场景，通过三个实际生产项目教授如何优雅地集成Hadoop、Spark、HBase、Ka
分类：
其他好文 时间：
2018-12-18 12:13:36
阅读次数：
370
(1)电商大数据项目-推荐系统实战http://blog.51cto.com/6989066/2325073（七）推荐系统常用算法协同过滤算法协同过滤算法（CollaborativeFiltering：CF）是很常用的一种算法，在很多电商网站上都有用到。CF算法包括基于用户的CF（User-basedCF）和基于物品的CF（Item-basedCF）。(八）ApacheMahout和SparkML
分类：
编程语言 时间：
2018-12-05 00:24:09
阅读次数：
339
电商大数据项目-推荐系统实战（一）环境搭建以及日志，人口，商品分析http://blog.51cto.com/6989066/2325073电商大数据项目-推荐系统实战之推荐算法http://blog.51cto.com/6989066/2326209五、实时分析TopIP（实时分析Top用户）一）模块介绍电商网站运营中，需要分析网站访问排名前N的IP，主要用来审计是否有异常IP，同时对网站运营情
分类：
其他好文 时间：
2018-12-05 00:15:06
阅读次数：
400
近期, 全球权威IT咨询机构Forrester发布"The Forrester WaveTM: CloudData Warehouse Q4 2018"研究报告，阿里巴巴分析型数据库(AnalyticDB)成功入选 ！AnalyticDB作为阿里巴巴自主研发的PB级实时云数据仓库，全面兼容MySQL协议以及SQL:2003 语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索，帮客户将整个数据分析和价值化从传统的离线分析带到下一代的在线实时分析模式。
分类：
数据库 时间：
2018-11-30 18:27:27
阅读次数：
172
基于hadoop：存储真实数据用hdfs、计算引擎之一是mr，元数据一般存储在mysql或其他关系型数据库中 用于离线分析olap，数据仓库软件 关系型数据库三范式： 每个列必须是原子性的不可拆分 非关键属性必须依赖关键属性的全部字段，而不能仅依赖关键属性的部分字段 没关键属性只能依赖关键属性，而不 ...
分类：
其他好文 时间：
2018-11-14 20:52:55
阅读次数：
201
1. HBase是HDFS上面向列的分布式数据库 HBase首先是数据库，分布式的，面向列的，<首选在hdfs基础上> Google发布三篇论文：GFS，MapReduce，BigTable开启分布式存储和计算的纪元 hdfs+mapreduce(Hadoop)解决离线分析；Hbase解决实时处理业 ...
分类：
其他好文 时间：
2018-08-04 11:32:08
阅读次数：
159
摘要：阿里云CloudDBA主要分为离线分析和在线分析两种功能。帮助用户节省成本，定位问题，分析原因并推荐解决方法。CloudDBA可以做到实时诊断，离线诊断和SQL优化。并且通过MySQL的参数调优，检测参数的不合理或者准备的延迟的情况。 演讲嘉宾简介： 勋臣，阿里云RDS内核团队技术专家，目前阿 ...
分类：
数据库 时间：
2018-05-30 17:39:47
阅读次数：
195
一、前言 Spark作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于Spark的理解，希望能给读者一些学习的思路。文章内容为介绍Spark在DataMagic平台扮演的角色、如何快速掌握Spark以及DataMagic平台 ...
分类：
其他好文 时间：
2018-05-11 17:23:04
阅读次数：
169
