一、词频统计： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatMap(lambda line:line.sp ...
分类：
其他好文 时间：
2021-04-20 15:02:06
阅读次数：
0
Docker Hadoop 配置常见错误及解决办法 问题1：wordcount运行卡住，hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_.... 解决如下： 1. 修改mapred-site.xml配置，配置文件在Ha ...
分类：
其他好文 时间：
2021-04-20 14:54:20
阅读次数：
0
Redis基础 NoSQL 学名（not only sql） 特点： 存储结构与MySQL这一种关系型数据库完全不同，NoSQL存储的是key-value形式的数据。 NoSQL有很多产品，都有自己的api和语法，以及业务场景。 产品种类： Mongodb Redis Hbase hadoop No ...
分类：
其他好文 时间：
2021-04-19 14:35:28
阅读次数：
0
1.1 应急响应（incident response） 或 （Emergency response） 1.2 应急响应工作分为： 1.未雨绸缪->开展风险评估，安全通告预警； 2.盲羊补牢->发现事件，进行系统备份，病毒检测，后门清理，清楚病毒或后门，隔离，系统恢复，调查追踪，入侵取证； 1.3 企 ...
分类：
其他好文 时间：
2021-04-15 12:42:39
阅读次数：
0
目标： 打造一个基于大数据的 IT 问答机器人服务，通过运用人工和AI 技术，极大提高问答产品的用户满意度。 适合高校《软件工程》，《人工智能》课程作为结对编程或者团队项目。 项目代号：小猿 人员： 高校学生，助教 用户的痛点 （NEED） 新用户在学习一门技术 （编程语言）有很多问题，但是在一般的 ...
分类：
其他好文 时间：
2021-04-14 12:00:53
阅读次数：
0
Redis五大数据类型 一、Redis-key相关命令 二、String 1、基本操作 2、值的增减 3、字符串范围和替换 4、设置过期时间 5、不存在时创建 6、同时设置、读取多个值 7、对象 这里的key是一个巧妙的设计：user:{id}:{field,...}，这样的设计在 Redis 中是 ...
分类：
其他好文 时间：
2021-04-12 11:51:17
阅读次数：
0
一、大数据框架三种语义???? 在分布式系统中，如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中，broker 可能会 crash，在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此 ...
分类：
其他好文 时间：
2021-04-09 13:27:18
阅读次数：
0
本文是我司在工信部信息通信研究院“2021算网融合产业发展论坛暨CCSA TC610 WG4技术年会”上的主题演讲，介绍了Laxcus集群操作系统的产品定位、功能组成、生态建设，大数据、人工智能在系统的角色，其中部分内容略有删减。 ...
分类：
其他好文 时间：
2021-04-07 11:12:35
阅读次数：
0
与现在相对热门的Clickhouse引擎相比，Druid对高并发的支持相对较好和稳定，但是Clickhouse在任务队列模式中的数据查询能力十分出色，但是对高并发支持不够友好，需要做好很多服务监控和预警。大数据组件中OLAP引擎的选型有很多，在数据的查询引擎层通常都具有两种或者以上的OLAP引擎，选... ...
分类：
其他好文 时间：
2021-04-07 10:30:18
阅读次数：
0
1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。 除了实 ...
分类：
其他好文 时间：
2021-04-06 15:01:09
阅读次数：
0
