前言 为什么要做爬虫？ 首先请问：都说现在是"大数据时代"，那数据从何而来？ 企业产生的用户数据：百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数 数据平台购买数据：数据堂、国云数据市场、贵阳大数据交易所 政府/机构公开的数据：中华人民共和国国家统计局数据、世界银行公开数据、联合国数据、纳斯达克 ...
分类：
编程语言 时间：
2018-07-27 01:35:50
阅读次数：
321
作者介绍： 卢向澄 金融科技领域十余年工作经验，目前在中国证券登记结算公司从事技术架构工作，专注于技术中台、云平台、大数据平台等领域。 1. 背景介绍 我国股市约有1.2亿散户，直接关乎上亿家庭、数亿人切身利益，保护好投资者尤其是中小投资者的合法权益，是资本市场工作人民性的具体体现，也是服务实体经济 ...
分类：
其他好文 时间：
2018-07-26 10:17:04
阅读次数：
458
机器学习作为近几年的一项热门技术，不仅凭借众多“人工智能”产品而为人所熟知，更是从根本上增能了传统的互联网产品。在近期举办的2018ArchSummit全球架构师峰会上，个推首席数据架构师袁凯，基于他在数据平台的建设以及数据产品研发的多年经验，分享了《面向机器学习数据平台的设计与搭建》。一、背景：机器学习在个推业务中的应用场景作为独立的智能大数据服务商，个推主要业务包括开发者服务、精准营销服务和各
分类：
其他好文 时间：
2018-07-20 17:32:47
阅读次数：
161
CentOSLVM卷转变成普通卷操作步骤系统信息lsb_release-aLSBVersion::core-4.1-amd64:core-4.1-noarchDistributorID:CentOSDescription:CentOSLinuxrelease7.2.1511(Core)Release:7.2.1511Codename:Core背景公司线上服务器要上线大数据平台，使用LVM卷对生产上
分类：
其他好文 时间：
2018-07-20 17:30:41
阅读次数：
208
7 月 6 日上午，在 ArchSummit 2018 深圳站 | 全球架构师峰会上，七牛云工程效率部技术专家宫静分享了《基于容器和大数据平台的持续交付平台》为题的演讲。本文是对演讲内容的整理。 本次分享的主要内容是基于 "容器" 和 "大数据平台" 去构建的持续交付系统，是七牛云工程效率部在持续交 ...
分类：
其他好文 时间：
2018-07-19 13:57:12
阅读次数：
159
一：介绍 对于大数据平台本身，其最重要的资产就是运行在上面的任务，平台要有对其任务进行权限控制的能力，包括但不限于： 1. 何人可以查看这个任务信息；2. 何人可以修改这个任务定义；3. 何人可以对这个任务进行操作，保存执行该任务，启用／禁用，删除，重跑等操作；4. 什么人有权限可以修改这个任务本身 ...
分类：
其他好文 时间：
2018-07-17 21:13:11
阅读次数：
154
如今，大型企业如金融企业和银行等，在下一代的微服务架构转型要求下，需要基础软件和数据平台能够实现原生的云化，以满足微服务架构的需求。 微服务，也就是一种面向服务的，有特定边界的松散耦合的架构。 主要特点包括，每一个微服务是一个独立的自治系统，可以不依赖外部组件独立运行；对应用只暴露接口，用户可以灵活 ...
分类：
数据库 时间：
2018-07-16 22:18:15
阅读次数：
257
如今，大型企业如金融企业和银行等，在下一代的微服务架构转型要求下，需要基础软件和数据平台能够实现原生的云化，以满足微服务架构的需求。微服务，也就是一种面向服务的，有特定边界的松散耦合的架构。主要特点包括，每一个微服务是一个独立的自治系统，可以不依赖外部组件独立运行；对应用只暴露接口，用户可以灵活的调整过每个微服务的使用；业务粒度足够小。在企业架构“云化”的过程中，数据库的云化是最为重要也是难度较大
分类：
数据库 时间：
2018-07-16 22:14:07
阅读次数：
201
出版商: hortonworks研发了Ambari和hdp的大数据分析集成平台 cloudera研发了cloudera manger和cdh大数据分析集成平台 稳定性: cloudera相对来说比较稳定 ambari相对来说不稳定(页面打开速度慢) 资源消耗: cloudera manager的se ...
分类：
其他好文 时间：
2018-07-16 00:59:45
阅读次数：
10565
最近一次迭代，参与了公司数据应用平台的开发，其中负责的一块功能早早的就完成了代码的编写工作，即将进入测试阶段，因为有时间思考和总结代码编写中遇到的难题，便想着将代码做一次重构：其中优化的一个功能就是关于数据平台敏感字段的收集 功能描述：数据平台敏感字段的收集： 开始的版本： 可以看出逻辑都散落在fo ...
分类：
其他好文 时间：
2018-07-14 22:40:54
阅读次数：
225
