一、Cobbler简介Cobbler是一个快速网络安装linux的服务,而且在经过调整也可以支持网络安装windows。该工具使用python开发,小巧轻便(才15k行python代码),使用简单的命令即可完成PXE网络安装环境的配置,同时还可以管理DHCP、DNS、yum仓库、构造系统ISO镜像。Cobbler支持命..
分类:
其他好文 时间:
2014-05-27 03:58:04
阅读次数:
399
Hive是一种构建在Hadoop上的数据仓库,Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业,是MapReduce更高层次的抽象,不用编写具体的MapReduce方法。Hive将数据组织为表,这就使得HDFS上的数据有了结构,元数据即表的模式,都存储在名为meta....
分类:
其他好文 时间:
2014-05-23 05:54:55
阅读次数:
1771
作者在工作中遇到了类似流式数据实时接入的业务场景,所以对淘宝的实时数据仓库这一块做了一些调研和了解。本文从业务场景和设计上介绍了淘宝的TimeTunnel工具,文中的图片来自淘宝数据仓库团队交流过程中的sildes,也参考了一些相关文档。
业务背景
TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时数据传输平台,具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点(基于Hbase)。
目前TimeTunnel在阿里巴巴广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据...
分类:
其他好文 时间:
2014-05-22 10:58:59
阅读次数:
334
企业高管每一个决策,每一次的产品和业务升级,都会引发一波人事调整,这其中提供了更多机遇给这个圈子里的人,也正是因为人才的流动带来了更多的激情,引发了更多的创新,才造就了这个生生不息的互联网,吸引着越来越多的人奋斗于此。...
分类:
其他好文 时间:
2014-05-22 06:50:23
阅读次数:
184
环境:win7+MyEclipse8.6+maven3.2.1安装maven1.
下载maven,解压到目录d下;2. 配置maven环境变量:MAVEN_HOME;添加path变量;3. dos中输入mvn
-version测试设置是否成功,若出现,则成功;修改本地仓库 本地仓库是通过你的配置从....
分类:
系统相关 时间:
2014-05-21 21:26:39
阅读次数:
606
代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发,后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发,支付宝流计算与分布式搜索系统的设计和研发,后成为支付宝海量计算体系架构师兼支付宝三代架构成员。现就转战于阿里巴巴集团-CDO-海量数据部门,负责创新性项目的研究和跟进,目前专注于Google第二代数据库产品MegaStore的研究和在阿里的落地。
在...
分类:
数据库 时间:
2014-05-21 17:04:40
阅读次数:
393
问题
最新CocoaPod更新慢得问题,无论是执行pod install
还是pod
update都卡在Anylyzing dependencies。
解决方案
其实原因是执行两个命令时都会升级CocoaPods的spec仓库,加一个参数就可以省略这一步,速度提高很快。
podinstall --verbose --no-repo-upd...
分类:
其他好文 时间:
2014-05-21 14:57:57
阅读次数:
273
Git 属于分布式版本控制系统( Distributed Version Control
System,简称 DVCS
)客户端并不只提取最新版本的文件快照,而是把原始的代码仓库完整地镜像下来。这么一来,任何一处协同工作用的服务器发生故障,事后都可以用任何一个镜像出来的本地仓库恢复。因为每一次的提取...
分类:
系统相关 时间:
2014-05-21 12:07:50
阅读次数:
441
大纲:一、前言二、概述三、在Windows上安装Git四、创建本地仓库五、本地仓库管理详解六、总结注,测试机CentOS5.5x86_64,Git服务器版本:gitversion1.8.2.1,客户端版本:gitversion1.9.2.msysgit.0。所有软件请到这里下载:http://msysgit.github.io/。一、前言本来呢,其实..
分类:
其他好文 时间:
2014-05-20 20:19:13
阅读次数:
442
今天准备在 @zhangkai05
写的小工具model_sql基础上,进一步完善功能,使其更加自动化。方便建模人员开发etl任务。源代码更改后 ,会发布到
git(url地址)上,逐步完善。描述现状及问题团队 数据仓库建模在2013年下开始使用 oracle sql developser data...
分类:
数据库 时间:
2014-05-20 08:08:37
阅读次数:
643