编者按：互联网上有浩瀚的数据资源，要想抓取这些数据就离不开爬虫。鉴于网上免费开源的爬虫框架多如牛毛，很多人认为爬虫定是非常简单的事情。但是如果你要定期上规模地准确抓取各种大型网站的数据却是一项艰巨的挑战，其中包括网站的格式经常会变、架构必须能灵活伸缩应对规模变化同时要保持性能，与此同时还要挫败网站反 ...
分类：
Web程序 时间：
2019-09-03 11:35:45
阅读次数：
125
想找有海底地形的全球DEM数据作为三维地球展示用，发现很多都是只有陆地DEM而不带海底的，而且还需要通过Web页面进行选择然后数据下载。 找到一个学校的Ftp可以直接下载数据集，特别是这篇文章几乎汇集了所有的数据资源，非常好用！ https://grasswiki.osgeo.org/wiki/Gl ...
分类：
其他好文 时间：
2019-08-27 10:37:15
阅读次数：
928
一、事物 事务是以可控的方式对数据资源进行访问的一组操作。 二、事物的四个特征-ACID 要注意的是事务能够通过AID来保证这个C的过程，C是目的，AID都是手段。 ① Atomic原子性 事务必须是一个原子的操作序列集合，即可以是一个操作，也可以是多个操作。在这个事物执行的过程中，要么全部成功，则 ...
分类：
其他好文 时间：
2019-08-20 23:50:53
阅读次数：
103
随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大数据存储技巧。在现如今，随着IT互联网信息技术的飞速发展和进步。目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大数据存储技巧。1、分布式存储传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储
分类：
其他好文 时间：
2019-06-15 12:02:30
阅读次数：
97
servlet： ① 客户端（浏览器）在地址栏输入一个URL发起HTTP请求 ② 服务器根据URL指定要执行的Servlet ③ servlet运行service方法，并给服务器作出相应 ④ 服务器接收到了servlet的响应数据，将数据返回给请求者 ⑤ 客户端接受响应数据，作出展示 图示： ① 初 ...
分类：
其他好文 时间：
2019-06-05 22:00:45
阅读次数：
67
元数据是描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来?支持如指示存储位置、历史数据、资源查找、文件记录等功能。EOS元数据有两种元数据：系统元数据和用户定义的元数据。 对于 Bucket 中的每个对象，EOS 都会保存该 Object 的系统元 ...
分类：
其他好文 时间：
2019-06-05 09:44:10
阅读次数：
322
前言 大数据产业正在用一个超乎我们想象的速度蓬勃发展，大数据时代的来临，越来越多的公司开始意识到数据资源的管理和运用，大数据可视化大屏展示被更多的企业青睐，身为UI设计师的我们，也要紧跟时代的步伐学习这方面的设计。 今天要跟大家分享我一年多设计大数据可视化大屏的经验和观点，下面从UI设计、交互设计、 ...
分类：
其他好文 时间：
2019-06-04 19:16:24
阅读次数：
306
数据资源管理程序的功能以及设计的总结1.数据如何存储2.数据如何与源数据保持同步更新3.数据如何与源数据做全量同步4.数据与源数据的一致性如何检测 设计是从功能出发，设计也要包含非功能性的设计（比如程序的健壮性，可用性等等）；而功能开发的出发点是需求，需求包括正常的功能需求，也包括开发人员自身提出的 ...
分类：
其他好文 时间：
2019-03-27 12:59:09
阅读次数：
145
针对Cpython所拥有的GIL锁作用：由于Cpython解释器在运行python文件时， Cpython进程与其运行文件所产生的主进程是一个进程（文件进程相当于Cpython的一个线程） 线程的特点是数据资源是共享的，而多个线程又都要共享Cpython的解释权限，共享意味着竞争，有竞争数据就不安全 ...
分类：
其他好文 时间：
2019-02-27 17:50:01
阅读次数：
188
