最近有个需求,计算用户画像。 系统大概有800W的用户量,算每个用户的一些数据。 数据量比较大,算用hive还是毫无压力的,但是写的oracle,在给出数据给前端,就比较难受了。 然后换了种解决方法: 1.hive计算,写的HDFS 2.API读出来,写到hbase(hdfs和hbase的版本不匹配 ...
分类:
编程语言 时间:
2017-07-29 16:44:10
阅读次数:
221
这个是从网上搜到的Python小项目之计算器(原文地址:http://www.2cto.com/kf/201402/279637.html)。但该段代码估计是Python 2 写的。 如果你使用的程序是Python 3以上版本,需要自行安装pillow。Windows可以在命令行中使用pip ins ...
分类:
编程语言 时间:
2017-07-29 16:43:53
阅读次数:
142
接上篇读HDFS 上面读完了HDFS,当然还有写了。 先上代码: WriteHBase HBaseConfig(z这个必须,不然会卡在table.put 上面,没有报错,就是卡) 注: hbase的配置文件很重要,如果读不到 “hbase.zookeeper.quorum” 会默认到 localho ...
分类:
编程语言 时间:
2017-07-29 16:43:28
阅读次数:
289
每次启动shell会话都要导入Python相关对象(数据库实例和模型),这是件十分枯燥的工作。为了避免一直重复导入,我们可以做些配置,让flask-script的shell命令自动导入特定的对象。 Flask的开发Web服务器支持很多启动设置选项,但只能在脚本中作为参数传给app.run()函数。这 ...
分类:
编程语言 时间:
2017-07-29 16:41:44
阅读次数:
212
push() 数组尾部添加元素 unshift() 在数组的头部添加元素; delete() 删除数组元素。长度不变仅仅是变成了 undefined;占一个位置 pop() 删除尾部元素; shift() 头部删除元素; 遍历数组(数组是对象 for in的遍历方式) join() 将数组转换成字符 ...
分类:
编程语言 时间:
2017-07-29 16:40:00
阅读次数:
137
LCA_Tarjan LCA的Tarjan算法的时间复杂度为O(n+q)是一种离线算法,要用到并查集。Tarjan算法基于dfs,在dfs的过程中,对于每个节点位置的询问做出相应的回答。dfs的过程中,当一棵子树被搜索完成之后,就把他和他的父亲合并成同一集合;在搜索当前子树节点的询问时,如果该询问的 ...
分类:
编程语言 时间:
2017-07-29 16:39:04
阅读次数:
313
封装:隐藏对象的属性和实现细节,仅对外公开接口,控制在程序中属性的读和修改的访问级别。将抽象得到的数据和行为(或功能)相结合,形成一个有机的整体,也就是将数据与操作数据的源代码进行有机的结合,形成“类”,其中数据和函数都是类的成员。封装的目的是增强安全性和简化编程,使用者不必了解具体的实现细节,而只 ...
分类:
编程语言 时间:
2017-07-29 16:38:40
阅读次数:
131
python拓展包安装 直接安装拓展包默认路径: Unix(Linux)默认路径:/usr/local/lib/pythonX.Y/site-packagesWindows默认路径:C:\PythonXY\Lib\site-packages 测试和升级python拓展安装包pip 查看pip安装时对 ...
分类:
编程语言 时间:
2017-07-29 16:38:06
阅读次数:
230
关于为什么不能用Prim求解此类问题,如下 Prim可以看成是维护两个顶点集或者看成维护一颗不断生成的树(感觉前一种说法好一点) 倘若是有向图有三个顶点1.2.3 边的情况如下 1->2: 5 1->3: 6 2->3: 1000861 3->2: 2 显然若是按照Prim算法来说,先将顶点一压入集 ...
分类:
编程语言 时间:
2017-07-29 16:37:48
阅读次数:
207
1003. 我要通过!(20) 时间限制 400 ms 内存限制 65536 kB 代码长度限制 8000 B 判题程序 Standard 作者 CHEN, Yue 时间限制 400 ms 时间限制 400 ms 内存限制 65536 kB 内存限制 65536 kB 代码长度限制 8000 B 代 ...
分类:
编程语言 时间:
2017-07-29 16:37:21
阅读次数:
174
java 中标识符可以为$符, 默认是int类型超出int型必须标明是long型char 为 2字节String 是引用类型 byte b = 1;b = b + 1; #会报错,类型不匹配, b提升为int,不能赋值给byte,需要强转 b += 1; # 可以,相当于b = (byte)( b ...
分类:
编程语言 时间:
2017-07-29 16:35:59
阅读次数:
200
1 #include 2 #include 3 #include 4 #include 5 #include 6 #include 7 #include 8 #include 9 #include 10 #include 11 12 13 int main() 14 { 15 std::vector... ...
分类:
编程语言 时间:
2017-07-29 16:35:07
阅读次数:
683
1 class Program 2 { 3 //数组是引用类型 4 //如果把数组或类等其他引用类型传递给方法,对应的方法就会使用该引用类型改编数组中值, 5 //而新值会反射到原始数组上 6 static void SomeFunction(int[] ints, int i) 7 { 8 int ...
分类:
编程语言 时间:
2017-07-29 16:33:54
阅读次数:
134
这一章节我们来讨论一下对SpEl的值的运算。1.domain烤炉类:(不变)package com.raylee.my_new_spring.my_new_spring.ch01.topic_1_17; public class Oven { private String name = ""; pr ...
分类:
编程语言 时间:
2017-07-29 16:33:36
阅读次数:
109
Java中多态性的实现 什么是多态 下面是多态存在的三个必要条件,要求大家做梦时都能背出来! 多态存在的三个必要条件一、要有继承;二、要有重写;三、父类引用指向子类对象。 多态的好处: 1.可替换性(substitutability)。多态对已存在代码具有可替换性。例如,多态对圆Circle类工作, ...
分类:
编程语言 时间:
2017-07-29 16:33:19
阅读次数:
167
1. 【强制】 获取单例对象需要保证线程安全,其中的方法也要保证线程安全。说明: 资源驱动类、工具类、单例工厂类都需要注意。 2. 【强制】创建线程或线程池时请指定有意义的线程名称,方便出错时回溯。 正例: 3. 【强制】线程资源必须通过线程池提供,不允许在应用中自行显式创建线程。说明: 使用线程池 ...
分类:
编程语言 时间:
2017-07-29 16:33:11
阅读次数:
171