大数据分析——数据抓取 IOT数据抓取 1、系统架构 2、架构说明 系统架构分成三层和四个功能 ，三层分布式M2M层、M2C层、平台应用层，四个功能是 数据采集、连接、逻辑处理、存储 M2M层： 主要指的是硬件数据采集层，它包括但设备数据通过NB-IOT、WIFI、4G、5G、RJ45的方式直接上传 ...
分类：
其他好文 时间：
2021-03-01 13:48:41
阅读次数：
0
1. 管道相关命令 1.1 cut cut：以某种方式按照文件的行进行分割 参数列表： 参数 英文 含义 -c characters 按字符选取 -b 按字节选取 忽略多字节字符边界，除非也指定了 -n 标志 -d '分隔符' delimiter 自定义分隔符，默认为制表符。 -f 'n1,n2' ...
分类：
系统相关 时间：
2021-02-26 13:01:54
阅读次数：
0
pyspark有个bug, 虽然下面代码写了 write.mode("overwrite")但是不生效 spark.conf.set("hive.exec.dynamic.partition.mode", "constrict") db_df.repartition(1).write.mode("o ...
分类：
其他好文 时间：
2021-02-23 14:14:20
阅读次数：
0
#awk awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，默认以空格为分隔符将每行切片，切开的部分再进行各种分析处理。 awk是行处理器,相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是 ...
分类：
其他好文 时间：
2021-02-22 11:58:48
阅读次数：
0
数据的基本类型及扩展 1. 数据类型： public class Demo01 { public static void main(String[] args) { //八大数据类型 int num1 = 10; byte num2 = 20; short num3 = 30; long num4 ...
分类：
其他好文 时间：
2021-02-22 11:54:36
阅读次数：
0
ylbtech-*-汉语-词汇-开发：技术架构 技术架构，technical architecture，大数据新词。 2020年7月，大数据战略重点实验室全国科学技术名词审定委员会研究基地收集审定的第一批108条大数据新词，报全国科学技术名词审定委员会批准，准予向社会发布试用。 1.返回顶部 2.返 ...
分类：
其他好文 时间：
2021-02-20 11:59:28
阅读次数：
0
tomcat 启动tomcat cd /usr/tomcat/apache-tomcat-7.0.57/bin/ ./startup.sh 停止tomcat ./shutdown.sh 查看tomcat日志信息 tail -200f /usr/tomcat/apache-tomcat-7.0.57/ ...
分类：
其他好文 时间：
2021-02-20 11:58:57
阅读次数：
0
##Hbase和Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。单个的从字面意思上或许很难看出二者的 ...
分类：
其他好文 时间：
2021-02-19 12:52:56
阅读次数：
0
科技迅速开展的当下，越来越多的常见现象完成了智能化办理。例如，日子中的取快递服务，曾经都是由快递员扫码发送短信，告诉收件人收取包裹，有时收件人无法及时赶到快递点，快递点简单积压快递，收件人的快递甚至有或许会被当成无效包裹整理。而现在，随着技能的开展，研发了智能化收取包裹的快递柜，选用一物一码，快递员... ...
分类：
其他好文 时间：
2021-02-18 13:58:00
阅读次数：
0
数据分析师的日常工作 面试题 图解面试题：如何分析用户满意度？ - 猴子的文章 - 知乎 https://zhuanlan.zhihu.com/p/336062095 面经 贝壳找房面试经验 - 猴子的文章 - 知乎 https://zhuanlan.zhihu.com/p/324356134 如何 ...
分类：
其他好文 时间：
2021-02-17 15:06:42
阅读次数：
0
