Python分布式爬虫必学框架Scrapy打造搜索引擎 未来是什么时代？是数据时代！数据分析服务、互联网金融，数据建模、自然语言处理、医疗病例分析……越来越多的工作会基于数据来做，而爬虫正是快速获取数据最重要的方式，相比其它语言，Python爬虫更简单、高效 具体的学习scrapy之前，我们先对sc ...
分类：
编程语言 时间：
2019-09-30 21:34:16
阅读次数：
120
每天记录学习，每天会有好心情。*^_^* 今日思考，完成一个基于JAVA的资产管理系统项目，需要实现哪些功能？此类项目常见描述如下：在这个数据即是资源的时代，基于账户管理的个人财务管理应用将成为互联网金融大数据时代新的发展方向。本文阐述了个人财务管理的概念及意义，对目前各种可行的服务模式进行了比对， ...
分类：
编程语言 时间：
2019-09-30 20:17:57
阅读次数：
402
金融科技，科技金融，互联网金融是近年来金融领域出现的热词。 金融科技：fintech（更多的是技术的变革） 维基百科的解释：由一群通过科技，让金融更高效的企业构成的经济产业。 科技指的是我们常常听到的：大数据，人工智能，云计算，区块链等等手段。 应用： 普惠金融：将钱贷给有需要的人群，这里在数据开发 ...
分类：
其他好文 时间：
2019-09-30 19:41:17
阅读次数：
116
一．为什么要用集群 redis3.0集群采用P2P模式，完全去中心化，将redis所有的key分成了16384个槽位，每个redis实例负责一部分slot，集群中的所有信息通过节点数据交换而更新。 redis实例集群主要思想是将redis数据的key进行散列，通过hash函数特定的key会映射到指定 ...
分类：
其他好文 时间：
2019-09-21 10:52:14
阅读次数：
79
1.基于机器学习的校园网流量准确预测 2.基于互联网文本的P2P平台风险预测研究与实现 3. 保险领域知识问答系统的研究与实现 ...
分类：
其他好文 时间：
2019-09-15 19:39:59
阅读次数：
102
一、简介 本文通过在服务器上安装coturn这个软件，实现搭建STUN服务器和TURN服务器。 coturn 简介：是一个免费的开源的 TURN/STUN 服务器。coturn 服务器完整的实现了 STUN/TURN/ICE 协议，支持 P2P 穿透防火墙。 STUN 服务器用于检测NAT类型。 T ...
分类：
其他好文 时间：
2019-09-14 14:02:01
阅读次数：
203
写在前面 在执行性能测试（如用 JMeter 直接压接口）的时候，有的时候并发数上不去、本机大面积出现 TCP 状态为 TIME_WAIT，除了放开 TCP 端口数和调整默认 TCP 释放时间外，另外几个注册表项同样重要且需要调整。 以下设置项针对的是本机和远端机。 设置完成后，重启下电脑使生效。 ...
分类：
其他好文 时间：
2019-09-08 12:25:00
阅读次数：
89
消息队列 MQ 消息队列就是 消息 message 加 队列 queue，是一种消息传输的容器，提供生产和消费 API 来存储和获取消息。 消息队列分两种：点对点（p2p）、发布订阅（pub/sub） 相同点：生产的消息存入队列，都从队列中获取消息 不同点：p2p 模式是一个消息只能被消费一次，消费 ...
分类：
其他好文 时间：
2019-09-05 18:27:05
阅读次数：
105
好久没刷coursera的课了，这周注册了个cloud computing看看。 第一章 讲mapreduce，没啥好说的。 第二章 gossip protocol，是一种应用层的协议，bitcoin和很多其他类似的分布式数据库系统有用到这种协议，它基本就是将数据从一个结点定期向周围传播信息，可以是 ...
分类：
其他好文 时间：
2019-09-04 10:14:31
阅读次数：
86
基于redis 3.2.4的Redis Cluster集群搭建 原理 Redis 集群采用了P2P的模式，完全去中心化。Redis 把所有的 Key 分成了 16384 个 slot，每个 Redis 实例负责其中一部分 slot 。集群中的所有信息（节点、端口、slot等），都通过节点之间定期的数 ...
分类：
其他好文 时间：
2019-08-31 23:47:50
阅读次数：
200
