操作场景，给一个Excel表格随机生成10万个手机号码 python中常见的对Excel操作模块 xlwt module 将数据写入Excel表 xlrd module 读取Excel表格 xlsxwriter modole xlwt模块的升级版，用于处理大量数据 先用xlwt写入Excel操作 执 ...
分类：
编程语言 时间：
2019-04-19 12:01:13
阅读次数：
300
数据库概述 存放数据的方式 1.存在内存中 2.保存在普通文件中 3.保存在数据库中 什么是数据库 存储数据的仓库，用户可以对数据库中的数据进行增加，修改，删除及查询操作（sql语言）。 数据库的优点- 数据库是按照特定的格式将数据存储在文件中，通过SQL语 句可以方 便/*-的对大量数据进行增、删 ...
分类：
数据库 时间：
2019-04-18 23:21:07
阅读次数：
196
1数据挖掘: 从数据中"淘金",从大量数据(包括文本)中挖掘出,隐含的,未知的,对决策有潜在价值的关系,模式和趋势 ,并用这些 知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具和过程,就是数据挖掘。 2,数据挖掘的基本任务 数据额度挖掘基本任务包括分类与预测、聚类分析、关联规则 、时 ...
分类：
其他好文 时间：
2019-04-13 21:59:51
阅读次数：
231
一 . 内置函数 什么是内置函数? 就是python给你提供的. 拿来直接?的函数, 比如print., input等等. 字符串类型代码的执? eval() 执?字符串类型的代码. 并返回最终结果(当执行大量数据的时候会有问题) exec() 执?字符串类型的代码 compile() 将字符串类型 ...
分类：
编程语言 时间：
2019-04-08 21:06:52
阅读次数：
189
linux基础 为hadoop集群的搭建扫清了障碍，也为内存的管理，文件系统的管理扫清了障碍 接着到Hadoop的阶段，首先做集群的安装，深入到使用这两个核心的组件，分布式文件系统HDFS，解决大量数据怎么存储的问题，第二个就是分布式计算MapReduce。MapReduce的包含Yarn和MapR ...
分类：
其他好文 时间：
2019-04-07 20:31:25
阅读次数：
128
本节主要内容： 1. 日志收集系统设计2. 日志客户端开发 1. 项目背景 a. 每个系统都有日志，当系统出现问题时，需要通过日志解决问题 b. 当系统机器比较少时，登陆到服务器上查看即可满足 c. 当系统机器规模巨大，登陆到机器上查看几乎不现实 2. 解决方案 a. 把机器上的日志实时收集，统一的 ...
分类：
其他好文 时间：
2019-04-05 19:38:21
阅读次数：
895
申明：本博文转发于 点击链接跳转 一、limit用法在我们使用查询语句的时候，经常要返回前几条或者中间某几行数据，这个时候怎么办呢？不用担心，mysql已经为我们提供了这样一个功能。 SELECT * FROM table LIMIT [offset,] rows | `rows OFFSET of ...
分类：
数据库 时间：
2019-04-05 16:54:07
阅读次数：
188
1.三者在执行速度方面的比较：StringBuilder > StringBuffer > String 2.StringBuilder：线程非安全的，StringBuffer：线程安全的 3.String 声明的对象是不可变对象。 如果一个StringBuffer对象在字符串缓冲区被多个线程使用时 ...
分类：
其他好文 时间：
2019-04-03 19:22:38
阅读次数：
170
由于 "采集省市区镇数据" 需要对地名进行拼音转换，由于第三方高准确度接口对IP进行了限制，处理大量数据变得异常缓慢。 使用了一个折中的办法， （3千+）用高准确度接口（几乎没有拼错的地名）， （4万+）用本地 提供的接口（大部分多音字还算是能拼正确）。 Github源码： "https://git ...
分类：
编程语言 时间：
2019-03-28 09:54:00
阅读次数：
269
一、概念： 乐观锁：适用于写少读多的情景，因为这种乐观锁相当于java的cas（比较并替换），所以多条数据同事过来的时候不用等待，可以立即进行返回 悲观锁：适用于写多读少的情景，这种情况也相当于java的synchronized，reentrantLock等，大量数据过来的时候，只有一条被写入，其他 ...
分类：
数据库 时间：
2019-03-26 13:17:54
阅读次数：
518
