数据采集利用各种手段获取数据,数据样式不限制,但一般而言是形如excel或者csv这样的表格格式。数据采集:urllib,requests数据解析:Xpath,BS4,正则表达式数据持久化存储:pd.to_csv,pd.to_excel,MySQL,Redis数据预处理一般而言,数据分析和数据挖掘领域的处理的数据都是海量的数据,这样的数据难免会出现问题。数据预处理占到数据挖掘工作的60%,这是最重
分类：
编程语言 时间：
2020-05-03 00:58:59
阅读次数：
67
原文地址： 先认识几个东西： 1、Elasticsearch ： 开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。 2、Logstash ： 完全开源的工具，对日志进行收集、分析，并将其存储供以后使用（如，搜 ...
分类：
其他好文 时间：
2020-05-01 16:48:36
阅读次数：
89
分布式事务解决方案的问题， 分布式事务产生的原因： 多个不同的服务连接不同的数据源 ，做分布式事务的管理。 这种情况是连接两个数据源的情况，然后事务管理器是这样的 只管理了test02的这端业务代码。所以test02的这个会回滚！ 但是test01会入库哦 这属于传统的分布式事务解决方案 使用spr ...
分类：
编程语言 时间：
2020-04-30 23:20:37
阅读次数：
68
GranafaGrafana是跨平台的开源的分析和可视化面板工具（Dashboard），可以通过将采集的数据查询后进行可视化的展示，及通知。其特点：1).丰富的可视化显示插件，包括热图、折线图、饼图，表格等。2).支持多数据源InfluxDB，Prometheus，Zabbix，Elasticsearch，CloudWatch，等。用于数据的展示。3).通知提醒，达到目标制定的阀值，进行报警。4)
分类：
其他好文 时间：
2020-04-26 23:48:25
阅读次数：
186
高并发高可用架构演进 : 数据库、应用于一体?数据库与应用分离?数据库根据业务将表分到不同的库中?同一张表进行读写分离?表中数据根据需求分表 其中Mycat数据库中间件起到了读写分离,分库,分表的作用 1.解决的问题 读写分离 (Mysql主从复制)/分库分表 ? 多数据源 ? Java程序需要进行 ...
分类：
其他好文 时间：
2020-04-26 12:32:00
阅读次数：
76
1.代码生成器： [正反双向](单表、主表、明细表、树形表，快速开发利器)freemaker模版技术 ,0个代码不用写,生成完整的一个模块,带页面、建表sql脚本、处理类、service等完整模块2.多数据源：（支持同时连接无数个数据库，可以不同的模块连接不同数的据库）支持N个数据源3.阿里数据库连 ...
分类：
编程语言 时间：
2020-04-22 12:52:02
阅读次数：
71
spring boot+mybatis+jpa动态切换数据源实现多租户功能多数据源-多租户动态数据源、表名、多租户切换mysql 共享数据库、独立 Schema https://www.docin.com/p-749152251.htmlhttps://www.ibm.com/developerwo ...
分类：
其他好文 时间：
2020-04-07 09:48:35
阅读次数：
169
1.版本选型 hadoop 3.1.3 hive 3.1.2 presto 0.233.1 2.Prsto 简介 详细参考：https://prestodb.github.io/docs/current/connector.html 2.1 Presto 优势 多数据源，支持SQL，自定义扩展Con ...
分类：
其他好文 时间：
2020-04-03 00:15:16
阅读次数：
177
本文源码：GitHub·点这里||GitEE·点这里一、多数据源应用1、基础描述在相对复杂的应用服务中，配置多个数据源是常见现象，例如常见的：配置主从数据库用来写数据，再配置一个从库读数据，这种读写分离模式可以缓解数据库压力，提高系统的并发能力和稳定性，执行效率。2、核心API在处理这种常见问题，要学会查询服务基础框架的API，说直白点就是查询Spring框架的API（工作几年，还没用过Sprin
分类：
其他好文 时间：
2020-04-01 15:03:59
阅读次数：
68
import pandas as pd pd.options.display.max_rows = 10 # 设置显示行数 df1 = pd.read_csv(r'E:\anacondatest\PythonData\高校信息.csv', encoding='gbk', index_col='学校名 ...
分类：
其他好文 时间：
2020-03-25 01:23:25
阅读次数：
90
