码迷,mamicode.com
首页 >  
搜索关键字:hdfs 读写    ( 21363个结果
c++之一个方便的日志库
概述 本文演示环境: win10 + vs2017 日志,我用的很少,通常是用作动态库调试使用。 日志记录下来,基本就没看过,除非模块出现了问题。 使用cmake管理的项目 使用C++封装了C语言读写文件实现了的记录日志, 避免使用c++流,因为效率低。 默认是写文本文件,其他格式? 以后再开放接口 ...
分类:编程语言   时间:2021-03-30 13:09:45    阅读次数:0
python文件处理
一、什么是文件处理?我们知道,程序运行的时候,产生的数据都是存储在内存当中的,但是内存不是永久保存,一旦断电,数据就会消失,要想永久保存数据,我们就需要将数据保存到硬盘,而操作计算机硬件是操作系统干的活儿。所以操作系统为用户和应用程序提供了调用机制,取名为文件。文件本质上就是调用操作系统,从而控制计 ...
分类:编程语言   时间:2021-03-30 12:59:02    阅读次数:0
高可用的 MySQL 集群
主从同步 单节点的 MySQL 肯定不适用于高并发的生产环境,为了提高性能,我们至少要做到读写分离,主库可读可写,从库只读。这里最关键的技术点就是主从同步。 我的 MySQL 配置文件如下(8.0.22): [mysqld] server_id = 1 # 机器ID,集群下唯一 pid-file = ...
分类:数据库   时间:2021-03-29 11:44:59    阅读次数:0
python读写的时候的相对路径问题
之前在运行Python程序读写文件的时候有时候相对路径可以访问到,有时候相对路径又不能访问 根据不断的尝试,发现Python程序中的相对路径不是相对于py文件而言的,而是相对于运行py文件的路径而言的,特别是如果是使用vscode来运行程序的时候,vscode是默认从打开vscode的那个文件夹取运 ...
分类:编程语言   时间:2021-03-26 15:30:33    阅读次数:0
redis为什么是单线程的
看到一篇总结的很好的一篇博文,于是做个小结 redis大多数时候是单线程运行的(同一个时间只占用一个CPU,只有一个指令在运行,即不可能并行读写),但是redis性能还是很好,原因如下: redis使用了 多路I/O复用机制(详看我的另一篇博客多路复用机制),处理客户端请求时,不会阻塞主线程。red ...
分类:编程语言   时间:2021-03-18 14:33:32    阅读次数:0
Redis 主从架构搭建
引言 准备搭建的是主从架构( Master/Slave )中的一主两从模式;其中 Master 为 Redis 的主服务器,主要负责写操作,两个 Slave 为 Redis 的从服务器,主要负责读操作,该架构最终可以实现主从复制和读写分离,架构图如下: 搭建步骤 这里采用在一台虚拟机上启动多个 Re ...
分类:其他好文   时间:2021-03-17 14:17:52    阅读次数:0
大数据技术01---学习路径
大数据技术板块划分 数据采集 flume kafka logstash filebeat ... 数据存储 mysql redis hbase hdfs ... 虽然mysql不属于大数据范畴 但是我在这也列出来了,因为你在工作中离不开它 数据查询 hive impala elasticsearch ...
分类:其他好文   时间:2021-03-17 14:04:41    阅读次数:0
01 Spark架构与运行流程
1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障,在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类:其他好文   时间:2021-03-16 13:21:18    阅读次数:0
Flink Forward #Asia2020 流批一体及数仓资料整理
阿里云实时计算负责人 - 王峰(莫问)/ FFA_2020-Flink as a Unified Engine - Now and Next-V4 2020年Flink 基于Flink 的流批一体数仓 基于Flink流批一体数据湖架构 PyFlink Flink Native on K8S 双链路数 ...
分类:其他好文   时间:2021-03-16 11:59:14    阅读次数:0
高并发IO的底层原理,进行IO的读写
本文的原则是:从基础讲起。IO的原理和模型是隐藏在编程知识底下的,是开发人员必须掌握的基础原理,是基础的基础,更是通关大公司面试的必备知识。本文从操作系统的底层原理入手,通过图文并茂的方式,为大家深入剖析高并发IO的底层原理,并介绍如何通过设置来让操作系统支持高并发。 1.1 IO读写的基础原理 大 ...
分类:其他好文   时间:2021-03-16 11:58:44    阅读次数:0
21363条   上一页 1 ... 14 15 16 17 18 ... 2137 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!