“希希敬敬对”团队成员简介 龙江腾（队长）团队PM 精通C语言，熟悉单片机开发，嵌入式软件开发。熟悉软件项目的一般开发流程，有良好的编程风格，代码模块化思想。电子基础扎实，能看懂原理图，熟悉数字电路和模拟电路知识。良好的团队精神，性格开朗，善于沟通，有强烈的责任感，工作积极主动。 个人口号：我也是在 ...
分类：
其他好文 时间：
2018-12-04 22:36:36
阅读次数：
250
接手小小爬虫项目，爬取整个龙岩市20多家米兰春天生活超市商品，不久之前朋友接手了一个爬虫项目，他转手给了我，也让我得到第一桶金 用户需求： url:'https://h5.youzan.com/v2/feature/qJLeG2FXmi' 通过这个链接爬取商品所有数据 3天后要得到数据 本人细分化需 ...
分类：
其他好文 时间：
2018-10-05 12:26:34
阅读次数：
272
各种编程语言我都很喜欢，但平时用的最多的是什么呢？ 一个github小爬虫，获取全部repo及其主要语言，画出饼图。 ...
分类：
其他好文 时间：
2018-09-26 01:09:52
阅读次数：
145
分享一下两个小爬虫，都是用Scrapy写的，一个用MongoDB保存，另一个用MySQL保存。 一、Scrapy+MongoDB 主要代码： 在settings.py中添加如下代码： 在pipelines.py中添加如下代码： 二、Scrapy+MySQL 前提：在MySQL数据库中建一个表来保存数 ...
分类：
数据库 时间：
2018-09-21 10:49:17
阅读次数：
216
今天突然想把python文件转换成可执行的exe文件，因为我在学爬虫的时候照着书上写了一个可以翻译的小爬虫，我想把他弄成exe文件，然后放在桌面上，这样以后遇到不会的英文就不用再打开网页搜索了。 嗯，背景大致就是这样。然后在安装的时候遇到了很多问题，所以花费了我很长时间，反反复复装了好几个库。别的问 ...
分类：
编程语言 时间：
2018-09-11 21:03:14
阅读次数：
212
1.给小表弟汇总一个院校列表，想来想去可以写一个小爬虫爬下来方便些，所以就看了看怎么用python写，到了基本能用的程度，没有什么特别的技巧，大多都是百度搜的，遇事不决问百度啦 2.基本流程就是： 用request爬取一个页面之后用BeautifulSoup4对爬到的页面进行处理， 然后需要的东西进 ...
分类：
编程语言 时间：
2018-08-19 15:41:24
阅读次数：
166
很多人都在说python简单，容易掌握，真的就那么简单么？在很多网站上都会看到这样一个疑问：为什么他们都说python很简单，自己却觉得很难？今天，就跟源码时代的小编一起来探讨一下吧。许许多多的朋友在学习python的时候都会有这样的经历：你天天苦力的学习了python的基础知识，甚至书都被翻烂了，但是跟着别人的视频或者文章写一个代码，一运行，一堆一堆的error！于是你又要一一的重新排查，明明知
分类：
编程语言 时间：
2018-08-14 12:10:38
阅读次数：
121
昨天写了个小爬虫，用axios.all同时请求多个页面时，国内网络的原因很容易就超时然后reject了，佛系resolve不可取啊，然后想到可以实现一个“重发失败请求”的功能。 Promise.all(requestPromises).then(...).catch(...) 会在所有request ...
分类：
其他好文 时间：
2018-07-31 19:34:53
阅读次数：
145
摘要：从零开始写爬虫，初学者的速成指南！ 封面： 关注+转发此文然后我评论留下“架构”即可领取框架的完整程序（随意写的，仅供参考哈），也欢迎大家和我一起交流学习Python，共同成长 介绍 大家好！回顾上一期，我们在介绍了爬虫的基本概念之后，就利用各种工具横冲直撞的完成了一个小爬虫，目的就是猛、糙、 ...
分类：
编程语言 时间：
2018-07-26 13:23:18
阅读次数：
258
作为一个资深吃货，网购各种零食是很频繁的，但是能否在浩瀚的商品库中找到合适的东西，就只能参考评论了！今天给大家分享用python做个抓取淘宝商品评论的小爬虫！ 思路 我们就拿“德州扒鸡”做为参考目标吧~！如果想抓其他商品的话，自行更换目标即可！打开淘宝，搜索目标，随便点击一个商品进入,在点击累计评论 ...
分类：
编程语言 时间：
2018-06-24 18:00:58
阅读次数：
188
