Python分布式爬虫必学框架Scrapy打造搜索引擎 本文建立在学习完大壮老师视频Python最火爬虫框架Scrapy入门与实践,自己一步一步操作后做一个记录(建议跟我一样的新手都一步一步进行操作).主要介绍:1、scrapy框架简介、数据在框架内如何进行流动2、scrapy框架安装、mongod ...
分类：
编程语言 时间：
2019-10-12 01:15:06
阅读次数：
304
心累系列： 描述： 常识知识都能有出现线上问题！ 线上问题： mongodb 数据库突发压力达到上线，mysql 数据库死锁关键表，系统整体宕机一个白天！ ...
分类：
数据库 时间：
2019-10-09 15:20:34
阅读次数：
105
生成密钥 默认密钥 ssh-keygen -t rsa -C zcw1994@live.com 生成自定义文件名密钥 ssh-keygen -t rsa -f ~/.ssh/id_rsa_github -C zcw1994@live.com ... ...
分类：
其他好文 时间：
2019-10-07 19:18:14
阅读次数：
164
一、mongoDB复制集1.1、复制集简介1）一组Mongodb复制集，就是一组mongod进程，这些进程维护同一个数据集合。复制集提供了数据冗余和高等级的可靠性，这是生产部署的基础。保证数据在生产部署时的冗余和可靠性，通过在不同的机器上保存副本来保证数据的不会因为单点损坏而丢失。能够随时应对数据丢... ...
分类：
数据库 时间：
2019-10-04 19:25:23
阅读次数：
149
首先确保mongoDB运行起来了 法一：输入 mongo 可以进入Mongo shell 法二：用NoSQL Booster可以连接到MongoDB 法三：输入systemctl status mongod显示mongod.service loaded 一、创建虚拟内存 详见《阿里云服务器启用虚拟内 ...
分类：
数据库 时间：
2019-10-04 16:45:25
阅读次数：
278
MongoDB在Windows中默认的数据库目录是c:\data。如果在没有该目录的情况下，直接运行mongod.exe，就会报如下错误（并没有把mongodb设置为服务，所以通过命令行的形式启动，注意：这里的命令要在mongodb安装目录下的bin目录里执行）： 在某些情况下，我们并不想把mong ...
分类：
数据库 时间：
2019-10-03 10:41:24
阅读次数：
120
一、大数据平台 大数据在工作中的应用有三种： 与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴； 与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。 数据工程师在业务和数据科学家之间搭建起实践的桥梁。本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。 ...
分类：
其他好文 时间：
2019-10-02 01:09:03
阅读次数：
203
参考并感谢 + 官方文档 "https://hub.docker.com/_/mongo" 下载mongo镜像(不带tag标签则表示下载latest版本) 启动 mongodb 容器 PS: + 启动容器之前,需要创建好对应的宿主机的文件目录,宿主机缺少文件会导致容器启动失败 《(八) Docker ...
分类：
数据库 时间：
2019-09-18 00:43:29
阅读次数：
107
1、数据库的概念 数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。 （1）关系型数据库 关系型数据库，存储的格式可以直观地反映实体间的关系。关系型数 ...
分类：
数据库 时间：
2019-09-09 13:13:02
阅读次数：
105
redis： 支持丰富的数据类型， 可以持久化数据， master-slave模式的数据备份， value大小：redis最大可以达到1GB，而memcache只有1MB memcached 只支持简单的字符串key/value数据结构。 无法进行持久化，数据不能备份，只能用于缓存使用，且重启后数据 ...
分类：
数据库 时间：
2019-08-31 17:04:55
阅读次数：
102
