1、seek的使用 实现Linux系统tail -f 功能（动态监测日志最后一行新写入的内容） 第一个.py文件 import time with open('access.log', mode='rb') as f: f.seek(0,2) # 将指针跳到文件末尾 while True: line ...
分类：
其他好文 时间：
2020-03-17 19:42:39
阅读次数：
60
利用云计算、大数据技术，构建涵盖关系型数据库、分布式文件系统、NOSQL数据库、内存数据库等混合型数据资源中心，建立高安全、高可用、高扩展的智慧环保大数据中心数据架构，更好地解决未来5-10年大流量、高并发、高响应、高实时需求所带来的计算、存储、扩容、负载均衡等问题。 同时按照标准先行的思路，整合环 ...
分类：
其他好文 时间：
2020-03-13 15:58:44
阅读次数：
67
数据处理框架 数据处理是一个非常宽泛的概念,数据处理框架在数据架构中,主要是用于数据移动和分析这两大功能当中.对于数据移动,有离线数据移动和实时数据移动,也可以叫做是批量数据移动和流式数据移动.而对于分析这一块,有离线数据分析和实时数据分析,也可以称作是批量数据分析和流式数据分析.离线和实时,批量和 ...
分类：
其他好文 时间：
2020-03-03 11:24:43
阅读次数：
95
SaaS是Software-as-a-Service（软件即服务）的简称，这边具体的解释不介绍。 多租户的系统可以应用这种模式的思想，将思想融入到系统的设计之中。 一、多租户的系统，目前在数据库存储上，一般有三种解决方案： 1.独立数据库 2.共享数据库，隔离数据架构 3.共享数据库，共享数据架构 ...
分类：
数据库 时间：
2020-02-22 00:18:45
阅读次数：
113
什么是架构 缘起 一直以来，在软件行业，对于什么是架构，都有很多的争论，每个人都有自己的理解。甚至于很多架构师一说架构，就开始谈论什么应用架构、硬件架构、数据架构等等。我曾经也到处寻找过架构的定义，请教过很多人，结果发现，没有大家都认可的定义。套用一句关于 big data 流行的笑话，放在架构上也 ...
分类：
其他好文 时间：
2020-02-20 10:10:32
阅读次数：
55
一、大数据spark 补写实验报告 学习 python 二、《一线架构师实践指南》阅读 阅读了最后一章 ...
分类：
其他好文 时间：
2020-02-15 23:20:51
阅读次数：
77
1. 摘要 对于大数据而言，数据仓库承载着整个企业的全业务的数据。早期数仓在关系型数据如Oracle，MySql上。到大数据时代，基于hadoop生态的大数据架构，数仓基本上都是基于hive的数仓。对于很多大数据开发者而言，特别是早期，很多开发者认为hive数仓就是和业务相关，隐射Hdfs数据文件的 ...
分类：
其他好文 时间：
2019-12-24 19:02:30
阅读次数：
109
Hive与HBase的区别与联系 二者区别 Hive：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。 HBase：HBase是Hadoop的数据库，一个分布式、可扩展、大数据的存储。 二者联系 Hbase和Hive在大数据架构中处 ...
分类：
其他好文 时间：
2019-12-22 18:19:49
阅读次数：
84
大数据特征（5V） Velocity（快速的数据流转） Veracity（精准可信赖的大数据） Variety（多样的数据类型） Volume（海量的数据规模） Value（数据价值密度相对较低） 大数据架构 HDFS服务功能 NameNode NameNode是主节点，存储文件的元数据，如文件名， ...
分类：
其他好文 时间：
2019-10-21 16:21:39
阅读次数：
104
本课程是由猎豹移动大数据架构师，根据Java在公司大数据开发中的实际应用，精心设计和打磨的大数据必备Java课程。通过本课程的学习大数据新手能够少走弯路，以较短的时间系统掌握大数据开发必备语言Java，为后续大数据课程的学习奠定了坚实的语言基础。 ...
分类：
编程语言 时间：
2019-10-13 11:12:24
阅读次数：
67
