码迷,mamicode.com
首页 > 编程语言
Java 读取HDFS文件系统
最近有个需求,计算用户画像。 系统大概有800W的用户量,算每个用户的一些数据。 数据量比较大,算用hive还是毫无压力的,但是写的oracle,在给出数据给前端,就比较难受了。 然后换了种解决方法: 1.hive计算,写的HDFS 2.API读出来,写到hbase(hdfs和hbase的版本不匹配 ...
分类:编程语言   时间:2017-07-29 16:44:10    阅读次数:221
[IT学习]转载python 项目 计算器
这个是从网上搜到的Python小项目之计算器(原文地址:http://www.2cto.com/kf/201402/279637.html)。但该段代码估计是Python 2 写的。 如果你使用的程序是Python 3以上版本,需要自行安装pillow。Windows可以在命令行中使用pip ins ...
分类:编程语言   时间:2017-07-29 16:43:53    阅读次数:142
Java往hbase写数据
接上篇读HDFS 上面读完了HDFS,当然还有写了。 先上代码: WriteHBase HBaseConfig(z这个必须,不然会卡在table.put 上面,没有报错,就是卡) 注: hbase的配置文件很重要,如果读不到 “hbase.zookeeper.quorum” 会默认到 localho ...
分类:编程语言   时间:2017-07-29 16:43:28    阅读次数:289
集成Python Shell
每次启动shell会话都要导入Python相关对象(数据库实例和模型),这是件十分枯燥的工作。为了避免一直重复导入,我们可以做些配置,让flask-script的shell命令自动导入特定的对象。 Flask的开发Web服务器支持很多启动设置选项,但只能在脚本中作为参数传给app.run()函数。这 ...
分类:编程语言   时间:2017-07-29 16:41:44    阅读次数:212
关于数组的一些经常使用函数
push() 数组尾部添加元素 unshift() 在数组的头部添加元素; delete() 删除数组元素。长度不变仅仅是变成了 undefined;占一个位置 pop() 删除尾部元素; shift() 头部删除元素; 遍历数组(数组是对象 for in的遍历方式) join() 将数组转换成字符 ...
分类:编程语言   时间:2017-07-29 16:40:00    阅读次数:137
【Java学习笔记】字符串和Date的转换
运行结果: ...
分类:编程语言   时间:2017-07-29 16:39:26    阅读次数:147
LCA算法解析-Tarjan&倍增
LCA_Tarjan LCA的Tarjan算法的时间复杂度为O(n+q)是一种离线算法,要用到并查集。Tarjan算法基于dfs,在dfs的过程中,对于每个节点位置的询问做出相应的回答。dfs的过程中,当一棵子树被搜索完成之后,就把他和他的父亲合并成同一集合;在搜索当前子树节点的询问时,如果该询问的 ...
分类:编程语言   时间:2017-07-29 16:39:04    阅读次数:313
java三大特性封装、继承、多态
封装:隐藏对象的属性和实现细节,仅对外公开接口,控制在程序中属性的读和修改的访问级别。将抽象得到的数据和行为(或功能)相结合,形成一个有机的整体,也就是将数据与操作数据的源代码进行有机的结合,形成“类”,其中数据和函数都是类的成员。封装的目的是增强安全性和简化编程,使用者不必了解具体的实现细节,而只 ...
分类:编程语言   时间:2017-07-29 16:38:40    阅读次数:131
linux和windows下安装python拓展包及requirement.txt安装类库
python拓展包安装 直接安装拓展包默认路径: Unix(Linux)默认路径:/usr/local/lib/pythonX.Y/site-packagesWindows默认路径:C:\PythonXY\Lib\site-packages 测试和升级python拓展安装包pip 查看pip安装时对 ...
分类:编程语言   时间:2017-07-29 16:38:06    阅读次数:230
朱刘算法 有向图定根的最小生成树poj3164
关于为什么不能用Prim求解此类问题,如下 Prim可以看成是维护两个顶点集或者看成维护一颗不断生成的树(感觉前一种说法好一点) 倘若是有向图有三个顶点1.2.3 边的情况如下 1->2: 5 1->3: 6 2->3: 1000861 3->2: 2 显然若是按照Prim算法来说,先将顶点一压入集 ...
分类:编程语言   时间:2017-07-29 16:37:48    阅读次数:207
PAT-乙级-1003(C++)
1003. 我要通过!(20) 时间限制 400 ms 内存限制 65536 kB 代码长度限制 8000 B 判题程序 Standard 作者 CHEN, Yue 时间限制 400 ms 时间限制 400 ms 内存限制 65536 kB 内存限制 65536 kB 代码长度限制 8000 B 代 ...
分类:编程语言   时间:2017-07-29 16:37:21    阅读次数:174
java学习日记(1-7)
java 中标识符可以为$符, 默认是int类型超出int型必须标明是long型char 为 2字节String 是引用类型 byte b = 1;b = b + 1; #会报错,类型不匹配, b提升为int,不能赋值给byte,需要强转 b += 1; # 可以,相当于b = (byte)( b ...
分类:编程语言   时间:2017-07-29 16:35:59    阅读次数:200
c++中的 Stl 算法(很乱别看)
1 #include 2 #include 3 #include 4 #include 5 #include 6 #include 7 #include 8 #include 9 #include 10 #include 11 12 13 int main() 14 { 15 std::vector... ...
分类:编程语言   时间:2017-07-29 16:35:07    阅读次数:683
对象和类型(数组、ref、out)
1 class Program 2 { 3 //数组是引用类型 4 //如果把数组或类等其他引用类型传递给方法,对应的方法就会使用该引用类型改编数组中值, 5 //而新值会反射到原始数组上 6 static void SomeFunction(int[] ints, int i) 7 { 8 int ...
分类:编程语言   时间:2017-07-29 16:33:54    阅读次数:134
从头认识Spring-1.15 对SpEl的值的操作(1)-数值运算
这一章节我们来讨论一下对SpEl的值的运算。1.domain烤炉类:(不变)package com.raylee.my_new_spring.my_new_spring.ch01.topic_1_17; public class Oven { private String name = ""; pr ...
分类:编程语言   时间:2017-07-29 16:33:36    阅读次数:109
Java多态性理解
Java中多态性的实现 什么是多态 下面是多态存在的三个必要条件,要求大家做梦时都能背出来! 多态存在的三个必要条件一、要有继承;二、要有重写;三、父类引用指向子类对象。 多态的好处: 1.可替换性(substitutability)。多态对已存在代码具有可替换性。例如,多态对圆Circle类工作, ...
分类:编程语言   时间:2017-07-29 16:33:19    阅读次数:167
阿里巴巴Java 开发手册编程规约之并发处理
1. 【强制】 获取单例对象需要保证线程安全,其中的方法也要保证线程安全。说明: 资源驱动类、工具类、单例工厂类都需要注意。 2. 【强制】创建线程或线程池时请指定有意义的线程名称,方便出错时回溯。 正例: 3. 【强制】线程资源必须通过线程池提供,不允许在应用中自行显式创建线程。说明: 使用线程池 ...
分类:编程语言   时间:2017-07-29 16:33:11    阅读次数:171
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!