1 kafka介绍 Kafka是一款性能非常好的并且支持分布式的消息队列中间件由于它的高吞吐特性，Kafka通常使用在大数据领域，如日志收集平台Kafka是一个流处理平台，因为它在工作中就像是一个可以支撑高吞吐量的管道，数据像水一样流进去，然后另外一端再去读取这些数据我们就可以把Kafka看作是一种 ...
分类：
其他好文 时间：
2020-07-11 13:02:34
阅读次数：
55
管道：实用程序服务和数据结构 Pipes: utility services and data structures 管道公用设施 Nucleus RTOS有四个API调用，它们提供与管道相关的实用程序函数：重置管道、返回有关管道的信息、返回应用程序中管道的数量以及返回指向应用程序中所有管道的指针。 ...
分类：
其他好文 时间：
2020-07-11 10:01:53
阅读次数：
59
管道：介绍和基本服务 Pipes: introduction and basic services 与邮箱或队列相比，它们提供了在任务之间传递简单消息的更灵活的方式。 使用管道 在Nucleus SE中，管道是在构建时配置的。一个应用程序最多可以配置16个管道。如果未配置管道，则应用程序中不会包含与 ...
分类：
其他好文 时间：
2020-07-11 09:14:34
阅读次数：
46
SparkSQL在机器学习场景中应用第四范式已经在很多行业落地了上万个AI应用，比如在金融行业的反欺诈，媒体行业的新闻推荐，能源行业管道检测，而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用SparkSQL在特征变换主要有一下几类1.多表场景，用于表之间拼接操作，比如交易信息表去拼接账户表2.使用udf进行简单的特征变换，比如对时间戳进行hour函数处理3.使用时间窗口和udaf
分类：
数据库 时间：
2020-07-09 17:54:20
阅读次数：
99
一、嵌套循环 循环语句可以在循环内使用任意类型的命令，包括其他循环命令。这种循环叫作嵌套循环（nested loop）。注意，在使用嵌套循环时，你是在迭代中使用迭代，与命令运行的次数是乘积关系。不注意这点的话，有可能会在脚本中造成问题。 这里有个在for循环中嵌套for循环的简单例子。 1 $ ca ...
分类：
系统相关 时间：
2020-07-09 09:25:33
阅读次数：
103
#03章 数据链路层 数据链路层像一个数字管道，在数字管道上传输的数据单位是帧 帧包括了网络层传入的 尾 校验值 数据包 头 基本概念 链路(link) 链路是一条点到点的物理线路段，中间没有任何其他的交换节点![] 一条链路只是一条通路的一个组成部分 数据链路(data link) 数据链路除了物 ...
分类：
其他好文 时间：
2020-07-08 19:41:08
阅读次数：
48
解析 pid=ps -ef | grep $APP_NAME | grep -v grep | awk '{print $2}'ps -ef 显示所有进程参考 -ef 和aux的区别 -ef 和 aux-ef 不截断commandaux 显示cpu和内存使用率| 管道符左边的输出作为右边的输入gre ...
分类：
移动开发 时间：
2020-07-08 13:36:22
阅读次数：
133
前言 在发生故障切换后，经常遇到的问题就是同步报错，数据库很小的时候，dump完再导入很简单就处理好了，但线上的数据库都150G-200G，如果用单纯的这种方法，成本太高，故经过一段时间的摸索，总结了几种处理方法。 生产环境架构图 目前现网的架构，保存着两份数据，通过异步复制做的高可用集群，两台机器 ...
分类：
数据库 时间：
2020-07-07 00:31:57
阅读次数：
69
1、awk概述 awk不仅仅是Linux系统中的一个命令，而且是一种编程语言 它可以用来处理数据和生成报告（excel） 处理的数据可以是一个或多个文件 可以使直接来自标准输入、也可以是通过管道获取标准输入 awk可以在命令行上直接编辑命令进行操作，也可以写成awk程序来进行更为复杂的操作 2、aw ...
分类：
其他好文 时间：
2020-07-06 17:49:26
阅读次数：
44
如何实现分布式？ 安装一个scrapy-redis的组件 原生的scrapy是不可以实现分布式爬虫，必须要让scrapy结合着scrapy-redis组件一起实现分布式 为什么原生的scrapy不可以实现分布式？ 调度器不可以被分布式集群共享 管道不可以被分布式集群共享 scrapy-redis组件 ...
分类：
其他好文 时间：
2020-07-05 17:03:11
阅读次数：
62
