标签：机械 监控 部门 利用 div data http 建筑装饰 color
利用awk分析data.csv中label列各取值的分布．
在终端执行head data.csv查看数据：
1 name,business,label,label_name 2 沧州光松房屋拆迁有限公司,旧房拆迁、改造；物业服务(依法须经批准的项目，经相关部门批准后方可开展经营活动),E4,建筑装饰和其他建筑业 3 上海托帕化工材料有限公司,"从事化工材料领域内的技术开发、技术转让、技术咨询、技术服务、化工原材料及产品(除危险化学品、监控化学品、烟花爆竹、易制毒化学品、民用爆炸物品)、机械设备、电子产品、橡塑制品、机电设备、五金建材、日用百货的销售,从事货物及技术的进出口业务。 4 【依法须经批准的项目,经相关部门批准后方可开展经营活动】",F2,零售业 5 上海利昂节能灯具有限公司,节能灯管，节能灯配件，电子镇流器，灯具，电子产品，生产，加工,C26,电气机械和器材制造业 6 裕福支付有限公司海南分公司,"企业管理咨询,计算机数据处理,应用软件技术服务,会议服务,经济信息咨询",L2,商务服务业 7 龙川县联生农贸市场管理中心,自建农贸市场管理服务,L2,商务服务业
因为行内包含换行符的项会被分成多行(例如上面的第３,４行)，所以需要结合正则匹配
cat data.csv | awk -F ‘,‘ ‘{if(NF>2 && $(NF-1)~/^[A-Z][0-9]/) {print $(NF-1)}}‘ | sort | uniq -c | sort -n -r > label_distribution.txt
-F ‘,‘ 表示根据逗号分隔；
$(NF-1)~/^[A-Z][0-9]/ 表示分隔后的倒数第二项（在此指取label列的值）需满足指定的正则匹配规则
另外，利用Pandas库对csv格式的文件做统计也很方便．
用pandas读取数据：
print df.label.value_counts() """ F1 622844 L2 614734 F2 493420 A1 102186 ... """
value_counts()方法统计序列所有元素出现次数，并进行倒序．
标签：机械 监控 部门 利用 div data http 建筑装饰 color
原文地址：http://www.cnblogs.com/bymo/p/7246353.html
