在spark1.0中属性支持三种配置方式：1、代码在代码中构造SparkConf时指定master、appname或者key-value等val conf = new SparkConf();conf.setAppName("WordCount").setMaster(" spark://hadoo...
分类：
其他好文 时间：
2014-06-25 20:12:25
阅读次数：
286
谨以此文纪念过去两年的幸福时光~~~按下Shift-Alt-s, 这个来到DM最熟练的组合键，不用看跳出的对话框，直接按下Enter键。资深Data Miner提交Job都是这么帅的。Miner一边美滋滋的看着提交Job的圆圈，一圈一圈的转，一边在另一个屏幕上，浏览cnbate。对于上万行代码经验的...
分类：
其他好文 时间：
2014-06-24 19:11:57
阅读次数：
207
在zed的PS端运行spark： （1）设置uboot为sd卡启动rootfs： "sdboot=if mmcinfo; then " \ "run uenvboot; " \ "echo Copying Linux from SD to RAM... && " \ ...
分类：
其他好文 时间：
2014-06-24 14:27:44
阅读次数：
497
15题需要再分析。没弄懂 使用scott/tiger用户下的emp表和dept表完成下列练习，表的结构说明如下 emp员工表(empno员工号/ename员工姓名/job工作/mgr上级编号/hiredate受雇日期/sal薪金/comm佣金/deptno部门编号) dept部门表(deptno部门...
分类：
数据库 时间：
2014-06-24 12:47:42
阅读次数：
324
0、参考自http://tech.uc.cn/?p=2116 http://www.csdn.net/article/2013-07-08/2816149 1、Spark是一个高效的分布式计算系统。它基于MapReduce（MR）算法实现分布式计算，但Job的中间输出和结果可以保存在内存，从...
分类：
其他好文 时间：
2014-06-24 11:32:46
阅读次数：
268
微软近期Open的职位:Job Description:Bing Index Serve team is hiring! We are one of the core teams in Bing serving more than 30% of worldwide search traffic wi...
分类：
其他好文 时间：
2014-06-24 11:06:44
阅读次数：
268
Spark Application可以在集群中并行运行，其关键是抽象出RDD的概念（详见RDD
细解），也使得Spark Application的开发变得简单明了。下图浓缩了Spark的编程模型。
1：Spark应用程序的结构
Spark应用程序可分两部分：driver部分和executor部分初始化SparkContext和主体程序
...
分类：
其他好文 时间：
2014-06-22 21:48:06
阅读次数：
311
最近在客户的一个8i生产库上使用statspack，发现alert中有报错：
Mon Jun 16 13:17:52 2014
Errors in file /oracle/8.1.7/admin/prod/bdump/snp0_96626_prod.trc:
ORA-12012: error on auto execute of job 304
ORA-01631: max # exte...
分类：
数据库 时间：
2014-06-22 20:40:40
阅读次数：
316
工厂模式 虽然Object构造函数或对象字面量都可以用来创建单个对象，但这些方式有个明显的缺点：使用同一个接口创建很多对象，会产生大量的重复代码。为解决这个问题，人们开始使用 工厂模式的一种变体。function createPerson(name,age,job){var o=new Object...
分类：
编程语言 时间：
2014-06-22 13:07:05
阅读次数：
310
写在前面一：
数据仓库ETL工具有很多，基于大数据环境下的分析，Hive用的多些。本文介绍国外的 一款开源ETL工具——Kettle。
写在前面二：
所用软件说明：
一、什么是Kettle
Kettle是一款国外开源的ETL工具，纯java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件，transformation和job，transf...
分类：
其他好文 时间：
2014-06-22 12:01:20
阅读次数：
619
