Requests urllib的升级版本打包了全部功能并简化了使用方法 beautifulsoup 是一个可以从HTML或XML文件中提取数据的Python库. LXML 一个HTML解析包 用于辅助beautifulsoup解析网页 urllib2用一个Request对象来映射你提出的HTTP请求 ...
分类：
编程语言 时间：
2018-08-14 19:52:20
阅读次数：
175
爬虫简介 爬虫：可以把互联网看做是一张大网，爬虫就好像是这张网里的蜘蛛，如果想得到这张网里的资源，就可以将其抓取下来。 简单来说就是请求网站并提取数据的自动化程序。 爬虫的基本流程： 发起请求：通过HTTP库向目标站点发送请求，即发送一个request，请求可以包含额外的headers等信息，等待服 ...
分类：
编程语言 时间：
2018-08-11 15:42:27
阅读次数：
201
laravel的资源路由极大的方便了数据库的增删改查 1、创建资源路由 2、查看。创建好资源路由后，通过artisan命令创建控制器。 分析一下上面的路由； ①、get方法直接访问admin/article，可以直接访问ArticleController@index； 用于页面的显示，直接提取数据库 ...
分类：
其他好文 时间：
2018-08-10 23:16:48
阅读次数：
355
ICP（index condition pushdown）是mysql利用索引（二级索引）元组和筛字段在索引中的where条件从表中提取数据记录的一种优化操作。ICP的思想是：存储引擎在访问索引的时候检查筛选字段在索引中的where条件（pushed index condition，推送的索引条件） ...
分类：
数据库 时间：
2018-08-09 17:24:39
阅读次数：
226
#保存数据注意他只能保存变量，不能保存神经网络的框架。#保存数据的作用：保存权重有利于下一次的训练，或者可以用这个数据进行识别#np.arange():arange函数用于创建等差数组，使用频率非常高import tensorflow as tf#注意：在保存变量的时候，一定要写出他的类型即dtyp ...
分类：
其他好文 时间：
2018-08-08 13:37:13
阅读次数：
198
刚入门python，发现确实是一个不错的语言。业务部门要求将将某一个数据库中的表，定期发送到相关部门人员邮箱。其实整个业务需求很简单，实现起来也不难。但是由于刚入门python，所以还是借鉴了不上网上的内容，也得到了许多群友的提醒。业务部门使用的是Postgresql数据库，所以使用 了psyconpg2的模块。整个脚本分为三部分：1.数据库的连接及数据写入excel表中（整个对新手来说，应该是难
分类：
数据库 时间：
2018-07-31 11:52:55
阅读次数：
300
物理备份(Xtrabackup) 相对于逻辑备份利用查询提取数据中的所有记录，物理备份更直接，拷贝数据库文件和日志来完成备份，因此速度会更快。当然，无论是开源的Mydumper还是官方最新的备份工具(5.7.11的mysqlpump)都支持了多线程备份，所以速度差异可能会进一步缩小，至少从目前生产环 ...
分类：
其他好文 时间：
2018-07-28 13:56:41
阅读次数：
198
机器学习过程主要包括：数据的特征提取、数据预处理、训练模型、测试模型、模型评估改进等几部分 传统机器学习算法主要包括以下五类： 回归：建立一个回归方程来预测目标值，用于连续型分布预测 分类：给定大量带标签的数据，计算出未知标签样本的标签取值 聚类：将不带标签的数据根据距离聚集成不同的簇，每一簇数据有 ...
分类：
编程语言 时间：
2018-07-25 20:08:14
阅读次数：
237
查询数据使用execute()函数执行查询sql语句后，得到的只是受影响的行数，并不能真正拿到我们查询的内容。没关系，这里游标cursor中还提供了三种提取数据的方法：fetchone、fetchmany、fetchall，每个方法都会导致游标游动，所以必须注意游标的位置cursor.fetchone()获取游标所在处的一行数据，返回的是元组，没有则返回None,cursor.fetchmany(
分类：
数据库 时间：
2018-07-25 17:10:16
阅读次数：
197
1.什么是爬虫？ 请求网站并提取数据的自动化程序 请求：客户端向服务端发送请求获得网页资源，是一段html代码，包含html标签和一段信息。 提取：提取出想要的信息，然后将结构化的数据存储到文本 自动化：写完程序一直运行着，代替客户端向服务端发送请求，可以大量的获得数据 爬虫四部 1.发起请求：通过 ...
分类：
其他好文 时间：
2018-07-21 19:49:40
阅读次数：
176
