码迷,mamicode.com
首页 >  
搜索关键字:爬虫 数据处理    ( 15133个结果
浅谈大数据技术
忽如一夜春风来,无人不谈大数据。大数据就像前两年的云计算一样,是一个时下被炒得很火的概念。那么什么是大数据,大数据是如何定义的,大数据处理技术有哪些,大数据能给我们带来什么益处?虽然我不知道现在这些概念是如何被炒作的,但是作为一名互联网行业的从业者,作为一个大数据技术的实践者,根据自己的理解和经验发...
分类:其他好文   时间:2014-05-27 02:26:50    阅读次数:191
android开发中WebView的使用(附完整程序)
原文地址:http://www.pocketdigi.com/20110216/176.htmlWebView是个好东西,作用相当于一个迷你的浏览器,采用Webkit内核,因此完美支持html,javascript,css等。有时候,我们完全可以把UI甚至数据处理都交给WebView,配合PHP等服...
分类:移动开发   时间:2014-05-24 02:07:49    阅读次数:360
使用Python Yaml包处理Json数据
在做网络爬虫的时候会遇到json数据格式的数据包,如果返回的是一个json格式的文件,可以使用Python Yaml包处理数据,不需要再使用正则表达式匹配了,使用实例如https://maps-api-ssl.google.com/maps/suggest?q=hello 这个地址,我们需要que....
分类:编程语言   时间:2014-05-23 23:04:01    阅读次数:484
robots.txt的介绍和写作
目前很多网站管理者似乎对robots.txt并没有引起多大重视,甚至不知道这么一个文件的作用。本来应该保密的信息被爬虫抓取了,公布在公网上,本应该发布到公网的信息却迟迟不被搜索引擎收录。所以下面这篇文章,就来介绍robots.txt的作用和写作robots.txt基本介绍 robots 是一个...
分类:其他好文   时间:2014-05-23 11:03:16    阅读次数:252
[Python]BeautifulSoup—HTML解析包
在用Python写爬虫时,一个常见的操作是对抓下的HTML做分析处理,得到想要的内容。一般的方法为使用Python的re库中,用正则表达式来解析文本。不过这种方法适用于所有的文本,而针对于特定格式的文本,如这里的HTML,BeautifulSoup更具有针对性,使用起来也更方便。 BeautifulSoup可以解析HTML,XML等文件,这里只说明其解析HTML的功能。   Beautifu...
分类:编程语言   时间:2014-05-22 12:56:51    阅读次数:682
HTML基础教程 一
HTML是HyperText Markup Language(超文本标记语言)的简写,超文本的意思是带有链接的文本,标记语言(markup language),是一种将文本以及文本相关的其他信息结合起来,展现出关于文档结构和数据处理细节的电脑文字编码。一. HTML文件: a.总是在第一行,这...
分类:Web程序   时间:2014-05-19 17:19:19    阅读次数:356
20140518 科技脉搏 -互联网的世界从来不缺资本,珍贵的是好创意
◎新媒体新闻门户自我革命的五大趋势 ◎大数据数据分析企业Acxiom 将以3.1亿美元收购LiveRamp毛利高达80%的商业模式,让Splunk成为第一家大数据处理的上市公司 ◎电商陈欧:“村儿”里出来的电商新贵从“京城荔战”谈生鲜格局阿里补贴外贸出口企业,欲构建外贸信用体系马云新开腔:阿...
分类:其他好文   时间:2014-05-19 16:47:49    阅读次数:295
ANDROID开发之SQLite详解
SQLite简介Google为Andriod的较大的数据处理提供了SQLite,他在数据存储、管理、维护等各方面都相当出色,功能也非常的强大。SQLite具备下列特点:1.轻量级使用 SQLite 只需要带一个动态库,就可以享受它的全部功能,而且那个动态库的尺寸想当小。2.独立性SQLite 数据库...
分类:移动开发   时间:2014-05-19 09:32:14    阅读次数:435
[python]南邮OJ代码备份爬虫
之前看过Python学习的经验,说以工程为导向学习。 自己分析了一下,一般接触Python的都有一定的其他语言基础,对于程序设计的基本逻辑,语法都有一个大概的了解。而Python这种脚本语言,没有过于独特的语法,在一定的其他语言的基础上,更是可以直接上手的。 之前看Python简明教程,半天没有进度。正好遇上Python爬虫项目,直接上手,方便快捷。 网站:http://acm.njupt.edu.cn/welcome.do?method=index,正值系统更新,于是写一个备份代码的爬虫。...
分类:编程语言   时间:2014-05-18 08:25:35    阅读次数:461
基于 Paraview 扩展与实现——(3)
1.1 Paraview的通信模式 ParaView 服务器(ParaVie w Server),提供了运行并行,交互可视化所必须的抽象层,使用户应用程序不必考虑诸如 ParaView 是否和如何在并行状态下运行等问题。VTK 提供了数据处理和渲染的核心算法。VTK,与一些其他的函数库(基础图形库 OpenGL,用于并行运算的 MPI 等)来提供可视化处理功能,如渲染,并行处理,文件输入输出,和...
分类:其他好文   时间:2014-05-18 06:58:22    阅读次数:416
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!