1、大数据有哪些特点？ valume(大量） velocity（高速） variety（多样） value（低价值密度） 2、什么是大数据？ 指无法在一定的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信 ...
分类：
其他好文 时间：
2020-11-16 13:51:20
阅读次数：
9
12个行业月均阅读超100亿，看Spark如何助力微博Feed算法提升活跃度#编者按：本文由高可用架构向黄波约稿，介绍黄波在SparkSummitChina2016中的演讲精华，并侧重对微博系统和Feed系统进行了更多的介绍。黄波，2010年加入新浪微博，微博研发中心Feed技术专家，负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理，致力于将分布式计
分类：
编程语言 时间：
2020-11-16 13:06:48
阅读次数：
9
案例｜S3、Cassandra、HDFS设计中隐藏的高可用法则Anythingthatcangowrongwillgowrong.会出错的事总会出错。——墨菲定律高可用NoSQL数据库是指服务无中断地持续运行的系统。许多基于网站的业务要求数据服务能够一直不中断。例如，在线购物的数据库需要保证7x24的可用性。为什么需要它们一直运行？假设你的数据库支撑着一个全球化的电子商务网站，那么数分钟的宕机就可
分类：
其他好文 时间：
2020-11-16 13:05:05
阅读次数：
5
系统简介车牌识别这个系统，虽然传统，古老，却是包含了所有这四个特侦的一个大数据技术的缩影.在车牌识别中，你需要处理的数据是图像中海量的像素单元；你处理的数据不再是传统的结构化数据，而是图像这种复杂的数据；如果不能在很短的时间内识别出车牌，那么系统就缺少意义；虽然一副图像中有很多的信息，但可能仅仅只有那一小块的信息（车牌）以及车身的颜色是你关心，而且这些信息都蕴含着巨大的价值。也就是说，车牌识别系统
分类：
其他好文 时间：
2020-11-13 12:27:53
阅读次数：
4
系统简介 车牌识别这个系统，虽然传统，古老，却是包含了所有这四个特侦的一个大数据技术的缩影. 在车牌识别中，你需要处理的数据是图像中海量的像素单元；你处理的数据不再是传统的结构化数据，而是图像这种复杂的数据；如果不能在很短的时间内识别出车牌，那么系统就缺少意义；虽然一副图像中有很多的信息，但可能仅仅 ...
分类：
其他好文 时间：
2020-11-13 12:10:58
阅读次数：
7
常用的存储引擎有以下： Innodb引擎：Innodb引擎提供了对数据库ACID事务的支持。并且还提供了行级锁和外键的约束。它的设计的目标就是处理大数据容量的数据库系统。 MyIASM引擎(原本Mysql的默认引擎)：不提供事务的支持，也不支持行级锁和外键。 MEMORY引擎：所有的数据都在内存中， ...
分类：
数据库 时间：
2020-11-12 14:01:35
阅读次数：
9
Web抓取的使用正在积极增加，特别是在大型电子商务公司中，Web抓取是一种收集数据以竞争，分析竞争对手和研究新产品的方式。Web抓取是一种从网站提取信息的方法。在本篇文章中，学习如何创建基于Python的刮板。深入研究代码，看看它是如何工作的。在当今的大数据世界中，很难跟踪正在发生的一切。对于需要大量信息才能取得成功的企业来说，情况变得更加复杂。但是首先，他们需要以某种方式收集此数据，这意味着他们
分类：
编程语言 时间：
2020-11-12 13:38:18
阅读次数：
7
==星球水友提问==沈老师，你好，想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务，（假设）根据身份证MD5查询身份证信息，目前有1000亿条数据，纯文本存储，前几天看你写LevelDB，请问这个业务能利用LevelDB内存数据库进行存储么？有没有其他优化方案？画外音：LevelDB《内存KV缓存/数据库》。==问题描述完==上一位星球水友问的是36亿日志后台分页查询，紧接着又来了
分类：
其他好文 时间：
2020-11-10 11:30:25
阅读次数：
10
同程旅游缓存系统设计:如何打造Redis时代的完美体系(含PPT)导读：高可用架构7月30日在上海举办了『互联网架构的基石』专题沙龙，进行了闭门私董会研讨及对外开放的四个专题的演讲，期望能促进业界对互联网基础服务及工具的讨论，本文是王晓波分享同程旅游缓存系统架构经验。王晓波，同程旅游首席架构师，专注于高并发互联网架构设计、分布式电子商务交易平台设计、大数据分析平台设计、高可用性系统设计，基础云相关
分类：
其他好文 时间：
2020-11-08 17:36:43
阅读次数：
18
近千节点的RedisCluster高可用集群案例:优酷蓝鲸优化实战导读：RedisCluster作者建议的最大集群规模1,000节点，目前优酷在蓝鲸项目中管理了超过700台节点，积累了RedisCluster大量宝贵经验，本文从RedisCluster的工作原理出发，提出了管理Redis超大集群几点行之有效的优化方法。吴建超，优酷土豆广告基础平台开发工程师，对互联网基础产品及大数据产品有兴趣。在优
分类：
其他好文 时间：
2020-11-08 17:36:27
阅读次数：
22
