一，获取整个页面数据Urllib模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读取www和ftp上的数据。首先，我们定义了一个getHtml()函数:urllib.urlopen()方法用于打开一个URL地址。read()方法用于读取URL上的数据，向getHtml()函数传递一个网址，并把整个页面下..
分类：
编程语言 时间：
2016-05-09 18:57:37
阅读次数：
232
最近有一个需求,需要爬取东方财富网的机构调研数据.数据所在的网页地址为: 机构调研 网页如下所示: 可见数据共有8464页,此处不能直接使用scrapy爬虫进行爬取,因为点击下一页时,浏览器只是发起了javascript网络访问,然后将服务器返回的数据插入网页,无法通过网址直接获取对应页的的页面数据 ...
分类：
编程语言 时间：
2016-05-09 15:53:53
阅读次数：
5523
建立数据库，建表，对新闻实现添加，修改和删除功能，是实例化应用 主界面： 新闻发布页面： 数据处理： 修改页面： 数据处理页面; 删除页面： ...
分类：
其他好文 时间：
2016-05-08 23:49:32
阅读次数：
267
背景：随着计算机网络技术的发展和普及，出现了越来越多像”淘宝“，”京东“等大型电子商务网站。这类网站都保存有大量图片资源。用户在访问这些站 点网页时，网页中图片信息占到页面数据流量的大部分。由于受客户端浏览器限制，无法从一台服务器上同时下载页面中的所有图片信息，因此即使服务器又很高带 宽，用户的放弃 ...
分类：
其他好文 时间：
2016-05-07 19:34:43
阅读次数：
206
2015年12月，XX项目中需要做一个数据导出功能，当时所有页面的到处功能均已经实现，但有个页面数据量太大，导出过程中导出页面直接卡死。不得已我准备选用ADO.NET来重新完成这个功能，因为考虑到越偏向底层操作速度越快这个逻辑，我选用从SqlCommand中直接读取数据，每两万条数据写一次文件，避免 ...
分类：
Web程序 时间：
2016-05-06 19:33:50
阅读次数：
184
原文:使用C#的HttpWebRequest模拟登陆网站 这篇文章是有关模拟登录网站方面的。 实现步骤； 启用一个web会话 发送模拟数据请求（POST或者GET） 获取会话的CooKie 并根据该CooKie继续访问登录后的页面，获取后续访问的页面数据。 我们以登录人人网为例，首先需要分析人人网登... ...
SwipeRefreshLayout概述
用户通过手势或者点击某个按钮实现内容视图的刷新，布局里加入SwipeRefreshLayout嵌套一个子视图如ListView、RecyclerView等，触发刷新会通过OnRefreshListener的onRefresh方法回调，我们在这里执行页面数据的刷新，每次手势的完成都会执行一次通知，根据滑动距离判断是否需要回调。setRefreshing（f...
分类：
移动开发 时间：
2016-05-03 18:21:35
阅读次数：
231
抓取了110万的用户数据，数据分析结果如下： 开发前的准备 安装Linux系统（Ubuntu14.04），在VMWare虚拟机下安装一个Ubuntu； 安装php5.6或以上版本； 安装MySQL5.5或以上版本； 安装curl、pcntl扩展。 使用PHP的curl扩展抓取页面数据 PHP的cur ...
分类：
Web程序 时间：
2016-05-02 22:58:28
阅读次数：
315
设计一个通讯录主页面 1.添加联系人： 1.1保存页面 1.2保存逻辑： AddServlet （接收页面数据（getParameter（）），使用dom4j保存到xml）修改联系人（完成） 2.修改联系人 2.1修改页面 2.2修改逻辑 UpdateServlet ( 接收页面数据，把数据保存xm ...
分类：
其他好文 时间：
2016-05-02 18:31:55
阅读次数：
218
背景：随着计算机网络技术的发展和普及，出现了越来越多像”淘宝“，”京东“等大型电子商务网站。这类网站都保存有大量图片资源。用户在访问这些站点网页时，网页中图片信息占到页面数据流量的大部分。由于受客户端浏览器限制，无法从一台服务器上同时下载页面中的所有图片信息，因此即使服务器又很高带宽，用户的放弃问速 ...
分类：
其他好文 时间：
2016-05-02 15:33:04
阅读次数：
137
