一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop，启动hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 ...
分类：
其他好文 时间：
2020-12-10 10:55:10
阅读次数：
3
一、Mybatis简介 1、MyBatis；和数据库进行交互；持久化层框架（SQL映射框架） 1、从原始的JDBC dbutils(QueryRunner) JdbcTemplate xxx;这些与数据库进行交互的工作单元称为工具. 工具：一些功能的简单封装. 框架：某个领域的整体解决方案;缓存,考 ...
分类：
其他好文 时间：
2020-09-17 20:52:13
阅读次数：
27
登录类，发现很多如下代码： hql = " from SafetyOperationAdvise where (checker='" + checker + "' or checker in ("+hqlAssigner.toString()+"63)"+") ) and status in ('1 ...
分类：
其他好文 时间：
2020-07-29 10:21:53
阅读次数：
106
1、脚本化运行 大量的hive查询任务，如果用交互式shell来进行输入的话，显然效率及其低下，因此，生产中更多的是使用脚本化运行机制： 该机制的核心点是：hive可以用一次性命令的方式来执行给定的hql语句 hive -e "insert into table t_dest select * fr ...
分类：
其他好文 时间：
2020-07-05 00:34:10
阅读次数：
60
感谢分享：http://blog.sina.com.cn/s/blog_7e04e0d00102w140.html 采集程序是使用hive -f xx.hql> xx.out，在使用sqoop将数据导入关系型数据库。 最近赶上大数据平台升级，忽然之间跑的好好的任务忽然报错说类型转换错误。 结果经查询 ...
分类：
其他好文 时间：
2020-06-23 15:54:30
阅读次数：
73
//distinct使用 public List<String> distinctDutyDate() { String hql="select distinct(dutyDate) from DoctorDuty"; Query query=getSession().createQuery(hql ...
分类：
Web程序 时间：
2020-06-23 12:55:01
阅读次数：
77
遇到的问题：在各种sql语句的书写过程中，各种的报错（红色波浪线）。 1、不识别sql的关键字 from 之类的 2、不能识别hql等语句的 PO类 3、不能识别 表名 和 列名但是运行并没有问题。所以可以认为是IDEA识别的问题。 然而 妈蛋，干脆关掉 sql 检查算了 setting =>Ins ...
分类：
其他好文 时间：
2020-06-16 23:18:59
阅读次数：
152
from graphene.types.generic import GenericScalar # 定义一个查询语句 class Query(ObjectType): generic = GenericScalar() def resolve_generic(self, info): return ...
分类：
其他好文 时间：
2020-06-05 09:14:24
阅读次数：
161
未来一段时间按照计划要开发`Skywalking`插件，因此关于`SkyWalking`会建立起一个专题集合，详细记录自己在开发插件过程中踩到的坑，以及学习的心得。该篇博客是第一篇主要是关于`skywalking`个人PC环境搭建部分的内容。 ...
第1章 Hive入门 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计（分析数据的框架）。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序。 1）Hive ...
分类：
其他好文 时间：
2020-05-30 19:36:05
阅读次数：
56
