码迷,mamicode.com
首页 >  
搜索关键字:爬取    ( 4795个结果
【Python】网络爬虫(一):pyquery一瞥
1.pyquery简介 python中的pyquery模块语法与jquery相近,可用来解析HTML文件。官方文档地址:https://pythonhosted.org/pyquery/ 。通过HTML中的标签、id、给定的索引等来获取元素,使得解析HTML文件极为方便。 2.实例 2.1 爬取豆瓣电影页面中主演 右键chrome中的审查元素,观察到主演的标...
分类:编程语言   时间:2014-07-22 23:02:54    阅读次数:455
【python爬虫】根据查询词爬取网站返回结果
最近在做语义方面的问题,需要反义词。就在网上找反义词大全之类的,但是大多不全,没有我想要的。然后就找相关的网站,发现了http://fanyici.xpcha.com/5f7x868lizu.html,还行能把“老师”-“学生”,“医生”-“病人”这样对立关系的反义词查出来。一开始我想把网站中数据库...
分类:编程语言   时间:2014-05-16 08:10:36    阅读次数:465
Python爬虫抓取网页图片
本文通过python 来实现这样一个简单的爬虫功能,把我们想要的图片爬取到本地。...
分类:编程语言   时间:2014-05-15 15:09:46    阅读次数:450
基于Hadoop的数据分析综合管理平台之Hadoop、HBase完全分布式集群搭建
能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。            现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。                                 项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-...
分类:其他好文   时间:2014-05-04 00:22:05    阅读次数:476
Python将JSON格式数据转换为SQL语句以便导入MySQL数据库
前文中我们把网络爬虫爬取的数据保存为JSON格式,但为了能够更方便地处理数据,我们希望把这些数据导入到MySQL数据库中。phpMyadmin可以把MySQL数据库中的数据导出为JSON格式文件,但却不能把JSON格式文件导入到MySQL数据库。为了实现这个目标,可以编写Python脚本将JSON格式数据转换为SQL语句以便导入MySQL数据库。 JSON文件tencent.json...
分类:数据库   时间:2014-04-28 10:33:41    阅读次数:479
4795条   上一页 1 ... 478 479 480
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!