大数据已经成为一种发展趋势,得到越来越多的公司参与。最近从事大数据系统设计开发和推荐引擎方面的工作,分几篇文章两个系列把自己的心得记录一下, 和大家分享一下大数据方面的经验。 整个平台包括监控系统、日志分析系统、推荐系统。按数据业务步骤划分,分为数据采集、清洗、存储、分析和服务。整个数据流程如下图: ...
分类:
其他好文 时间:
2016-06-26 21:01:35
阅读次数:
250
在关系型数据库中除了前面几篇基本的数据库和数据表操作之外,还提供了可编程性的函数、存储过程、事务、触发器及游标。 本文介绍的是函数。 函数分为两种: 系统函数 用户自定义函数 准备工作 这里以银行存取款为例说明。 1、创建数据表 2、插入基本数据 系统函数 数据库系统定义的函数,即内置函数。 内置函 ...
分类:
数据库 时间:
2016-06-22 18:59:50
阅读次数:
268
一、创建表 1.创建常见表 其中{}中的是列名和数据类型 2.创建自动编号列表 其中id是不能自己填写的,是自动生成的顺序编号。 3.创建约束规则表 当bz列输入非有货或缺货时会弹出提醒框,即: 4.创建默认值字段的数据表 其中当在sl,dj cbrq,bz四列中,如果不填入数据,系统会为表自动填充 ...
分类:
数据库 时间:
2016-06-18 18:20:49
阅读次数:
213
大数据,无论是从产业上,还是从技术上来看,都是目前的发展热点。在中国,政府控制着80%的数据,剩下的多由“BAT”这样的大公司拥有,中小企业如何构建自己的大数据系统?其他企业如何建设自己的大数据系统?推荐两大应用最广泛、国人认知最多的Apache开源大数据框架系统:spa..
分类:
其他好文 时间:
2016-06-16 13:24:34
阅读次数:
178
数据杂谈
目录
前言数据数据系统大数据数据统计个性化推荐总结参考资料
前言
记得几年前,曾经有人预测过未来最流行的三大技术:大数据、高并发、数据挖掘。到现在来看,这三种技术的确也随着这几年互联网的发展变得越发成熟和可靠。掌握这三种技术的人,不管是求职还是创业,都属于香饽饽。一个很深的印象就是当年研究生毕业的时候,专业是数据挖掘、大数据的学生都比较受各种企业的青睐,不管他...
分类:
其他好文 时间:
2016-06-12 02:14:06
阅读次数:
290
环境信息化是政府信息化建设的重要组成部分,深入推进环境信息化建设是国家信息化发展的客观要求,是建设服务型政府的重要手段,是实现环境管理科学决策和提升环境监管效能的基本保障。对于一套兼容并包的信息管理系统,不同的类型的企业机构有相对应的属性业务表单,需要对建立的表单建立关联关系,并且系统的用户有填报、审核及管理的多重功能。
本文开发一套系统应用于环境企业的差异化表单填报与用户权限分配的实际场景,可以有效提升系统的管理与业务数据的汇总和分析。
本文完成的主要工作如下:
1.通过对当前业界...
分类:
其他好文 时间:
2016-06-06 01:19:06
阅读次数:
1291
背景知识: 很多互联网公司会有各种类型的工作任务,比如对外提供各种服务,内部的挖掘与数据管理系统。 即使内部数据系统也可能需要多种不同类型的计算系统:适应实时计算的挖掘系统。适合交互查询的系统 或者典型的批处理任务,面对多种各具特性的计算系统与框架,比较传统的资源管理方式采用的是静态资源划分方法。 ...
分类:
其他好文 时间:
2016-06-02 21:40:54
阅读次数:
260
留言板是作为部门内员工之间留言及发送消息使用。 系统必须通过口令验证,登录进入。方法是从数据库内取出用户姓名和口令的数据进行校验。 用户管理的工作(比如增加,删除,修改用户)通过直接对数据库操作实现,不在本系统中实现,可以自行在数据库用户表中增加测试数据。 系统包含四部分功能 1 登录:验证用户名与 ...
分类:
其他好文 时间:
2016-06-01 00:05:45
阅读次数:
154
概述 互联网公司同质应用服务竞争日益激烈,业务部门亟需利用线上实时反馈数据辅助决策支持以提高服务水平。Alluxio(前Tachyon)作为一个以内存为中心的虚拟分布式存储系统,在大数据系统性能提升以及生态系统多组件整合的进程中扮演着重要角色。本文将介绍去哪儿网(Qunar)的一个基于Alluxio ...
分类:
其他好文 时间:
2016-05-31 10:35:18
阅读次数:
346
系统自带的JSON解析 GET异步请求 POST异步请求 ...
分类:
其他好文 时间:
2016-05-28 17:27:26
阅读次数:
144