大数据时代要求： 三V：Volume海量、Velocity实时、Variety多样； 三高：高并发、高可扩、高性能 高并发操作不建议使用关联查询，而使用冗余数据，分布式系统支持不了太多的并发。 横向 VS 纵向： 纵向有极限，好比一台服务器存储资源总是有限度的。 横向无极限，好比一群服务器集群形成一 ...
分类：
其他好文 时间：
2019-02-13 12:35:01
阅读次数：
185
在这个大数据时代，我们保存的数据量有时候往往是非常庞大的，存储它将会耗费非常多的内存，读取速度也相对减慢了。 因此常常需要对数据进行压缩编码存储，等到要用到这个数据的时候再解压缩就行，这样不仅可以节约大量的存储空间，而且节省了系统读取和反应的时间。 栅格数据压缩编码的方法有很多种，包括链式编码、行程 ...
分类：
编程语言 时间：
2019-02-13 09:32:56
阅读次数：
200
随着大数据时代的来临，物联网的日益发展，原先的 SCADA 系统本身也在求新求变，从最开始的专业计算机和操作系统，到通用计算机和相关软件，再到现在基于 HTML5 Canvas 的新型组态开发，其应用的范围也从最初的电力，逐渐发展到应用于电力、冶金、化工、自动化群控等等大部分工控场景中，本文是将传统... ...
分类：
Web程序 时间：
2019-02-11 10:59:56
阅读次数：
255
Nginx解析PHP的原理,CGI/FastCGI以及PHP-Fpm的关系. 一、PHP+Nginx应运而生的场景.随着互联网的发展，用户对此接受面广，数据流的增大使得Web端的运行承载压力日益增大,野蛮生长在大数据时代里的WEB语言PHP也找到了比老搭档更优越的活力搭档Nginx,说到Nginx咱 ...
分类：
Web程序 时间：
2019-01-31 19:12:15
阅读次数：
190
爆炸式发展的NoSQL技术 在过去的很长一段时间中，关系型数据库（RelationalDatabaseManagementSystem）一直是最主流的数据库解决方案，他运用真实世界中事物与关系来解释数据库中抽象的数据架构。然而，在信息技术爆炸式发展的今天，大数据已经成为了继云计算，物联网后新的技术革命，关系型数据库在处理大数据量时已经开始吃力，开发者只能通过不断地优化数据库来解决数据量的问题，但优
分类：
数据库 时间：
2019-01-31 13:30:46
阅读次数：
195
前段时间看过腾讯的一篇报道《IBM发布2018数据泄密研究报告：高成本让人处于零信任时代》。其中内容以Cambridge Analytica 数据泄密丑闻事件曝光为引来阐述，在这个大数据时代，数据泄密引发的安全问题所带来的严重后果也越来越受到了更多人的重视。
分类：
其他好文 时间：
2019-01-29 11:54:36
阅读次数：
235
[toc] 1 HDFS概述 在大数据时代，大数据处理需要解决的首要问题是：如何高效地存储所产生的规模庞大的数据？由于传统集中式的物理服务器在存储容量和数据传输速度等方面都有限制，故而越来越不符合这些数据的实际存储需要。 所以为了实现对大数据的存储，就需要利用成百上千台甚至更多的分布式服务器节点（由 ...
分类：
其他好文 时间：
2019-01-25 21:03:56
阅读次数：
286
现在互联网巨头，都已经转投到人工智能领域，而人工智能的首选编程语言就是python，未来前景显而易见。那么问题来了，想学Python，Python工程师工资一般多少?值得去学吗? 最近开始整理python的资料，会陆续放到博客中存档。找了几个qq群，其中有一个群78486745。后面就没怎么加群了， ...
分类：
编程语言 时间：
2019-01-25 21:01:19
阅读次数：
190
原文地址 http://www.cnblogs.com/nbpowerboy/p/4325692.html 【摘要】当今已进入大数据时代，特别是大规模互联网web2.0应用不断发展及云计算所需要的海量存储和海量计算发展，传统的关系型数据库已无法满足这方面的需求。随着NoSQL数据库的不断发展和成熟， ...
分类：
数据库 时间：
2019-01-23 21:29:23
阅读次数：
212
一 爬虫简介 概述 近年来，随着网络应用的逐渐扩展和深入，如何高效的获取网上数据成为了无数公司和个人的追求，在大数据时代，谁掌握了更多的数据，谁就可以获得更高的利益，而网络爬虫是其中最为常用的一种从网上爬取数据的手段。 网络爬虫，即Web Spider，是一个很形象的名字。如果把互联网比喻成一个蜘蛛 ...
分类：
其他好文 时间：
2019-01-21 21:11:44
阅读次数：
196
