概述 这是一个综合性的B2B2C平台，类似京东商城、天猫商城。网站采用商家入驻的模式。该项目采用Spring+SpirngMVC+Mybatis框架搭建的maven工程，并采用分布式架构按功能将系统分为不同的子系统，将不同的子系统部署到不同的节点服务器独立运行。在各个系统之间采用dubbox+zoo ...
分类：
其他好文 时间：
2019-02-11 16:50:17
阅读次数：
723
[TOC] 一、写在前面 在京东的任职生涯马上就要结束了，回想起来，从16年校招加入京东，到今年年初离职，在这快三年的时间里，京东在飞速的发展和变化，我也从一个刚入职场的初级后台开发成长为现在带着十来个人团队的小组长。这几年遇到了很多事，认识了很多人，也学会了很多道理，无论是技术水平还是管理能力都得 ...
分类：
其他好文 时间：
2019-02-10 13:38:13
阅读次数：
169
Ajax原理 在用requests抓取页面时，得到的结果可能和浏览器中看到的不一样：在浏览器中可以正常显示的页面数据，但用requests得到的结果并没有。这是因为requests获取的都是原始 HTML文档，而浏览器中页面 则是经过Ajax处理数据后生成的。这些数据可能在HTML文档 ...
分类：
Web程序 时间：
2019-02-10 10:55:45
阅读次数：
235
这是一个用Python爬虫实现抓取京东店铺信息以及下载图片的例子，仅供参考。
分类：
编程语言 时间：
2019-02-10 09:13:37
阅读次数：
431
Ajax原理 在用requests抓取页面时，得到的结果可能和浏览器中看到的不一样：在浏览器中可以正常显示的页面数据，但用requests得到的结果并没有。这是因为requests获取的都是原始 HTML文档，而浏览器中页面 则是经过Ajax处理数据后生成的。这些数据可能在HTML文档 ...
分类：
Web程序 时间：
2019-02-09 22:30:01
阅读次数：
274
推荐系统是feed流背后的服务，从今日头条到手机百度、淘宝，所有app都有feed化的趋势，重要性不言而喻，这里说说我了解的推荐系统，有疏漏之处烦请指正。 相关资料 项亮的《推荐系统》想必都有耳闻，虽然成书较早内容和现在主流的embeding、神经网络方法有所不同，仍有助于了解领域相关知识。 较新的 ...
分类：
其他好文 时间：
2019-02-09 10:38:09
阅读次数：
272
一、题目：用户喜好 为了不断优化推荐效果，今日头条每天要存储和处理海量数据。假设有这样一种场景：我们对用户按照它们的注册时间先后来标号，对于一类文章，每个用户都有不同的喜好值，我们会想知道某一段时间内注册的用户（标号相连的一批用户）中，有多少用户对这类文章喜好值为k。因为一些特殊的原因，不会出现一个 ...
分类：
编程语言 时间：
2019-02-02 12:57:04
阅读次数：
209
import requests from bs4 import BeautifulSoup import time import re t = 0 #用于给图片命名 for i in range(10): url = "https://list.jd.com/list.html?cat=9987,6... ...
分类：
编程语言 时间：
2019-02-01 21:57:14
阅读次数：
187
本篇目标：我们以爬取京东商城商品数据为例，展示Scrapy框架对接selenium爬取京东商城商品数据。 背景： 京东商城页面为js动态加载页面，直接使用request请求，无法得到我们想要的商品数据，故需要借助于selenium模拟人的行为发起请求，输出源代码，然后解析源代码，得到我们想要的数据。 ...
分类：
其他好文 时间：
2019-01-31 22:53:35
阅读次数：
771
上一篇博客整理了一些关于服务框架基础知识的内容，这篇博客，从实际的生产需要出发，谈谈一个完善可用的服务框架，需要包含哪些功能。。。 PS：部分内容参考自《京东基础架构建设之路》 一个完善可用的RPC服务框架，需要包含以下几点： 管理端 1、接口管理 提供统一的接口管理和查询入口，比如公共wiki或者 ...
分类：
其他好文 时间：
2019-01-31 20:39:09
阅读次数：
227
