标签:
项目中需要比对两种方法计算生成的数据情况,需要做两件事情,比对生成的中间表的行数是否相同,比对最后一张表的数据是否一致。
在获取表的数据量是一条一条地使用select count(*) from table来获取等待结果比较烦人,所以就写了一个bash shell来做这件事。
但一开始是这样的:
for line in $(cat tables.txt) do echo "tablename :$line"; value=$(hive --database databasename --hiveconf v=v1 -S -e "select count(*) from $line;") echo "rows count:$value" done;
这样只要准备好tables.txt即可。
使用时./count_tables.sh >counter.txt
但后来发现表一多,这样等待还是很漫长。
后来想到可以使用并发进和查询。遂改成如下:
while read line; do eval "hive --database databasename -S -e ‘select \"$line" as tablename ,count(*) as rowcount from $line;‘ &" done; wait #wait all process to finish calculater
使用时
hive -e ‘show tables‘>tables.txt
./count_tables.sh <tables.txt >counter.txt
Hive get table rows count batch
标签:
原文地址:http://www.cnblogs.com/huaxiaoyao/p/4443273.html