1.什么是NoSql 是一项全新的数据库理念，泛指非关系型的数据库 2.为什么需要NoSql 1.对数据库高并发读写的需求 2.对海量数据的高效率存储和访问的需求 3.对数据库的高可扩展性和高可用性的需求 NoSql数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题 ...
分类：
数据库 时间：
2019-11-28 19:28:33
阅读次数：
86
数据治理包括：隐私、安全、合规性3个方面。大数据价值创造的前提和基础是企业自身的数据以及全社会开放的数据，当数据开放为社会带来好处的同时，也同时因此了隐私侵犯问题。隐私是社会赋予个人或者企业的权利，隐私权受到法律的保护，因此，企业在利用大数据的同时，要首先考虑大数据应用是否会侵犯他人或者组织的隐私。企业可以多种方式来解决隐私触犯问题。对于企业向内部人员提供的大数据服务，可以通过数据权限保证隐私数据
分类：
其他好文 时间：
2019-11-09 00:31:24
阅读次数：
122
笔者从 2008 年开始工作到现在也有 11 个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发（写 MapReduce Job 做 ETL ，用 Hive 做 Ad hocquery，用 Tableau ...
分类：
其他好文 时间：
2019-10-14 12:15:22
阅读次数：
95
测试大数据应用程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。 在大数据测试中，QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快，所以它需要高水平的测试技能。 大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的 ...
分类：
其他好文 时间：
2019-09-04 13:36:06
阅读次数：
103
1大数据概率大数据是指在一定时间内无法用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息增长。主要解决海量的存储和海量数据的分析计算问题。1.1大数据的特点Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度）1.2大数据应用场景物流仓储：大数据分析系统助力商家精细化运营、提
分类：
其他好文 时间：
2019-08-31 09:13:55
阅读次数：
115
一，软件的开发架构： c / s 架构：就是指客户端与服务端交互一种模式，比如像在手机上去玩微信或QQ等等 b / s 架构：是指浏览器与服务器交互的一种模式，比如在电脑上浏览各大网站等等 服务端就是24小时在候命的一个状态，只要有客户端访问，就提供服务客户端就是任何时候想访问服务端时，都可以能体验 ...
分类：
其他好文 时间：
2019-08-06 22:49:48
阅读次数：
207
IT知识架构客户冰箱+牛奶+模具=（结果）（雪糕）牛奶：数据存储：磁盘（共享）1.SAN,NAS,DAS（专门将数据存储于磁盘阵列）2.分布式存储架构（HDFS）---------集群（应用）Hadoop分布式文件系统冰箱：系统：Linux只有Linux系统可以承载大数据应用模具：1.map-reduces数据处理集群，它是将海量数据按照一定的方式，修改为键值关系HDFS+map-reduces=
分类：
其他好文 时间：
2019-07-31 11:22:38
阅读次数：
119
框架:Bootstrap+MVC 数据库:sqlserver(业务数据)+mongodb(历史数据) 效果: 1. Bootstrap 的响应式 CSS 能够自适应于台式机、平板电脑和手机 2. MVC将软件用户界面和业务逻辑分离以使代码可扩展性、可复用性、可维护性、灵活性加强 3. 大数据应用 3 ...
分类：
其他好文 时间：
2019-07-25 13:27:40
阅读次数：
166
众所周知，当下大数据开发工程师是一个很吃香的职业，现在大数据技术人才短缺，在互联网圈里越久，资历越老，就越受欢迎。但最近小骇发现了一个“大数据工程师干不过35岁”的话题引人注目。大数据工程师真的这么神奇吗？听起来这么恐怖的大数据工程师究竟是个啥职位？？谈大数据工程师职位之前我们先来聊聊互联网的职位发展，2018年是互联网低迷成为大数据开发工程师，别墅靠大海的一年。近来阿里巴巴、陌陌、知乎等大厂都纷
分类：
其他好文 时间：
2019-07-19 16:47:15
阅读次数：
108
最近和一位在政府交通部门工作的朋友聊天，谈到大数据应用，他们领导近几年对公共交通管理的数据信息化建设非常重视，特别是一些交通大屏监控看板的应用。此前在面对这类数据大屏监控的可视化展示需求时，一般会由外包项目方通过代码等形式进行开发，然后经过美工不断优化调整，最终再交付到相关部门进行评审和上线。 通过 ...
分类：
其他好文 时间：
2019-07-10 10:53:56
阅读次数：
110
