这段时间工作比较忙，每天也没那么多的时间逛博客园看文章，于是就想写一个工具 每天早上9点爬取文章给自己发邮件 作为每天的技术早餐。 相对而言，爬取博客园的文章还是比较简单的，主要思路就是分析博客园文章列表的分页，请求方式，页面渲染方式等， 写篇随笔简单share一下。 这个小工具主要用到的由nlog ...
实现思路： 由于反扒机制，所以需要做代理切换，去爬取，内容通过BeautifulSoup去解析，最后入mysql库 1.在西刺免费代理网获取代理ip，并自我检测是否可用 2.根据获取的可用代理ip去发送requests模块的请求，带上代理 3.内容入库 注：日志模块在上一篇随笔 下面附上代码 1.可 ...
分类：
数据库 时间：
2018-10-19 13:57:30
阅读次数：
366
通用mapper的使用，减少了大量操作，提高了工作效率，在使用通用mapper 时，mysql表里有和sql保留关键字相同的字段， 在定义实体类时，通过定义驼峰命名的属性名，实现自动映射，可是在入库操作过程中报出sql语法错误， into test_table (id,name,desc,passw ...
分类：
移动开发 时间：
2018-10-17 15:42:42
阅读次数：
611
Java开发读取excel表格数据入库保存： List<Map<String, Object>> list = null; String filePath = filePaths + "/" + userID + "/" + accountID + "/" + busDate + "/"; Stri ...
分类：
编程语言 时间：
2018-10-15 16:16:25
阅读次数：
137
微商下单系统讲解，微商下单管理系统，微商订单系统分析，微商下单模式定制，微商下单模式剖析，微商管理系统，微商管理模式， 互联网科技的日益发展，让许多的新行业模式都出现了，微商也是其中一个，微商行业发展起来了，就开始要面对一些问题，每天进进出出的商品很多，如果只靠传统的记账是很难去记清每天的进出货的登 ...
分类：
其他好文 时间：
2018-10-09 19:58:57
阅读次数：
135
1005：创建表失败1006：创建数据库失败1007：数据库已存在，创建数据库失败< 可以忽略1008：数据库不存在，删除数据库失败< 可以忽略1009：不能删除数据库文件导致删除数据库失败1010：不能删除数据目录导致删除数据库失败1011：删除数据库文件失败1012：不能读取系统表中的记录102 ...
分类：
数据库 时间：
2018-10-06 12:04:26
阅读次数：
168
python读取配置文件的方法： 1. 引入库 python2.x python3.x 区别：python2.x每个单词开头都是大写，python3.x都是小写 2. 打开文件 python2.x python3.x 3. 读取信息 读取信息通过get系列函数： 参数1是节(section)； 参数 ...
分类：
编程语言 时间：
2018-10-05 21:02:53
阅读次数：
190
c/c++中出现“undefined reference to”的解决 如果提示未定义的函数是某个库的函数。检查库时候已经安装，并在编译命令中采用-l和-L参数导入库。 如果提示未定义的函数是程序中的函数。检查是否在头文件中声明，是否在编译中有对应的obj文件。 如果提示未定义的函数是程序中的函数， ...
分类：
其他好文 时间：
2018-10-05 15:06:37
阅读次数：
127
这两天上班接手，别人留下来的爬虫发现一个很好玩的 SQL脚本拼接。 只要你的Scrapy Field字段名字和 数据库字段的名字 一样。那么恭喜你你就可以拷贝这段SQL拼接脚本。进行MySQL入库处理。 具体拼接代码如下： 这个SQL拼接实现了，如果数据库存在相同数据则 更新，不存在则插入 的SQL ...
分类：
数据库 时间：
2018-10-04 10:41:13
阅读次数：
139
