什么是scrapy框架： scrapy是一个基于Twisted异步框架的爬虫框架,scrapy具有异步性，效率高。 scrapy是用于爬取结构化数据 适合构建大型爬虫应用。 scrapy安装配置 lxml, wheel, Twisted, pywin32, scrapy 项目的常见与运行 创建： 1 ...
分类：
其他好文 时间：
2020-09-18 03:08:48
阅读次数：
31
大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。而今天我们就来了解一下，常见的大数据平台都包含哪些层次？ 1、数据采集层：分3个层面的采集技术进行支持，一是传统业务系统数据库和半结构化、结构化数据的采集和集成，如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集，包
分类：
其他好文 时间：
2020-09-17 20:18:31
阅读次数：
34
大数据分析平台的搭建有利于帮助企业构建统一的数据存储和数据处理资源，围绕企业业务开展大数据应用建设，最终形成面向服务化的数据资产。而今天我们就来了解一下，常见的大数据平台都包含哪些层次？ 1、数据采集层：分3个层面的采集技术进行支持，一是传统业务系统数据库和半结构化、结构化数据的采集和集成，如采用Sqoop技术进行关系数据库和Hadoop系统之间的数据抽取和交换;二是交通实时流数据的采集，包
分类：
其他好文 时间：
2020-09-17 19:57:01
阅读次数：
24
随着云办公和移动互联网的普及，地产行业不断迭代更新其IT信息水平，以更有效的方式实现核心业务控制和协作运营，并通过技术创造更多的商业价值。但是，地产行业中仍然存在一些小问题，这些问题阻碍了他们前进，并担心，是什么使地产行业如此麻烦呢？地产面临的痛点：每个模块管理软件（例如系统计划管理，OA，过程管理等）彼此独立，形成一个信息岛。许多企业生成大量文档和其他非结构化数据，不仅占用系统空间，而且无法实现
分类：
其他好文 时间：
2020-09-17 16:11:48
阅读次数：
21
Gartner：大数据宣传在商务智能市场成效不明显市场研究公司Gartner指出，去年的大数据宣传未能促进全球商务智能和分析市场出现快速增长。Gartner称，尽管商务智能和分析市场在2013年增长了8%，增长至144亿美元，但是涨幅低于预期。大数据通常指对来自社交网络、传感器等来源的海量非结构化信息进行的挖掘与分析，而传统的商务智能只是报告和分析结构化数据存储。Gartner分析师DanSomm
分类：
其他好文 时间：
2020-09-14 18:45:17
阅读次数：
22
有些词我们如雷贯耳，它们活跃在科技的前沿，被贴上“黑科技”的标签，带着神秘的色彩，也获得了科技资本和人才的巨大关注，RPA（机器人流程自动化）就是这么一个词。今天，就让我们揭开RPA的神秘面纱。什么是RPA？根据Gartner最新发布的《机器人流程自动化软件市场指南》对RPA的定义，机器人过程自动化(RPA)工具在结构化数据上执行“if,then,else”语句，通常使用用户界面(UI)交互的组合
分类：
其他好文 时间：
2020-08-20 18:43:07
阅读次数：
52
随着计算机技术的进步，越来越多的数据可以以较低的成本获得和存储。任何在线信息站点或设备都可以收集新的数据，括电子商务网站、RFID标签、网站、电子邮件、博客等。本文从结构化、非结构化和数据类型、数据库、数据挖掘和云数据等方面介绍了商业智能的应用。结构化、非结构化和数据类型：从广义上讲，数据可以分为结构化数据和非结构化数据。随着现代企业内外部数据的快速积累，结构化和非结构化数据对于商业智能的无缝分析
分类：
其他好文 时间：
2020-08-20 18:38:33
阅读次数：
68
本文源码：GitHub·点这里||GitEE·点这里一、Cassandra简介1、基础描述Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，此后，由于Cassandra良好的可扩展性，逐渐发展成为了一种流行的分布式结构化数据存储方案。2、特点分析弹性可扩展性Cassandra是高度可扩展的;它允许添加更多的硬件以适应更多的客户和更多
分类：
数据库 时间：
2020-08-13 11:56:51
阅读次数：
74
数据预处理 在正式处理数据之前对收集的数据进行预先处理的操作。 原因：不管通过何种手段收集的数据 往往是不利于直接分析的 数据中存在的格式规整的差异。 目的：把不干净的数据 格式不规则的数据 通过预处理清洗变成格式统一规整的结构化数据 技术：MapReduce 预处理的编程思路问题 在使用mr编程的 ...
分类：
Web程序 时间：
2020-08-10 17:26:02
阅读次数：
80
一. SparkSQL简介 Spark SQL是Spark用于结构化数据(structured data)处理的Spark模块。 Dremel > Drill(Apache) >Impala(Cloudrea) Presto(Hotonworks) Hive > Shark(对Hive的模仿，区别在 ...
分类：
数据库 时间：
2020-08-07 21:45:52
阅读次数：
79
