练习介绍 要求： 请使用Scrapy，爬取当当网2018年图书销售榜单前3页的数据（图书名、作者和书的价格）。 当当网2018年图书销售榜单链接： http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1 ...
分类：
其他好文 时间：
2019-05-12 01:54:05
阅读次数：
343
import requests import re import json def request_dandan(url): try: response = requests.get(url) if response.status_code == 200: return response.text ... ...
分类：
其他好文 时间：
2019-05-08 20:25:46
阅读次数：
171
一、问题引出 1. 假设当当网上用户下单买了本书，这时数据库中有条订单号为001的订单，其中有个status字段是’有效’,表示该订单是有效的； 2. 后台管理人员查询到这条001的订单，并且看到状态是有效的； 3. 用户发现下单的时候下错了，于是撤销订单，假设运行这样一条SQL: update o ...
分类：
数据库 时间：
2019-05-01 11:56:07
阅读次数：
152
背景：女票快毕业了(没错！我是有女票的！！！)，写论文，主题是儿童性教育，查看儿童性教育绘本数据死活找不到，没办法，就去当当网查询下数据，但是数据怎么弄下来呢，首先想到用Python，但是不会！！百度一番，最终决定还是用java大法爬虫，毕竟java熟悉点，话不多说，开工！： 实现： 首先搭建框架， ...
分类：
编程语言 时间：
2019-04-28 19:01:28
阅读次数：
106
config toolkit是当当网开发的开源项目，使用起来非常的方便。对于很多配置都可以写在配置中心中，进行配置数据的获取，这样我们可以不用把很多信息写在了代码里面，例如数据库账号密码等信息。 config toolkit的github 地址为：https://github.com/dangdan ...
分类：
其他好文 时间：
2019-03-17 22:58:25
阅读次数：
199
摘要： 本文介绍SpringBoot使用当当Sharding-JDBC进行读写分离。 1.有关Sharding-JDBC 本文还是基于当当网Sharding-Jdbc的依赖，与上一篇使用Sharding-Jdbc进行分库分表依赖一致，并且本文大致内容与上一篇文章相似，建议先查看我的另一篇在查看这篇会 ...
分类：
数据库 时间：
2019-02-14 22:16:41
阅读次数：
205
春节已经临近了尾声，也该收收心了。博客好久都没更新了，自己在年前写的爬虫也该“拿”出来了。 本次爬取的目标是当当网，获取当当网所有的书籍信息。采用scrapy+mongodb来采集存储数据。开干！ 起始url： 当当书籍的一级分类二级分类都很明显的展示了出来。 ok~入口找到了，当当网也没有设置反爬 ...
分类：
其他好文 时间：
2019-02-10 23:18:28
阅读次数：
199
本文介绍SpringBoot使用当当Sharding JDBC进行分库分表。 1.有关Sharding JDBC 有关Sharding JDBC介绍这里就不在多说，之前Sharding JDBC是当当网自研的关系型数据库的水平扩展框架，现在已经捐献给Apache，具体可以查看Github，地址是： ...
分类：
数据库 时间：
2019-02-01 13:03:59
阅读次数：
192
/ 01 / Charles 用Charles来找视频的API接口，具体操作和之前当当网那个案例一样，不细说。 这里通过滑动抖音App，可以获取到视频的请求信息。 通过多次实验，发现链接的后面是会不停的改变，只有链接的前头始终不变，即「http://v1-dy」「http://v6-dy」「http ...
分类：
编程语言 时间：
2019-01-20 20:13:02
阅读次数：
226
前题 dubbox是dubbo的一个升级版，简单说就是本来dubbo是阿里开发的，现在阿里不维护了，当当网拿过去继续开发。本来阿里的dubbo维护到2.6版本，而再高版本的都是当当网维护的就叫成dubbox了。 dubbo的机制是这样的，首先有一个数据中心zookeeper,这里zookeeper的 ...
分类：
编程语言 时间：
2018-12-26 17:52:12
阅读次数：
176
