码迷,mamicode.com
首页 > 编程语言 > 日排行
Python爬虫(十五)_案例:使用bs4的爬虫
本章将从Python案例讲起:所使用bs4做一个简单的爬虫案例,更多内容请参考:Python学习指南 案例:使用BeautifulSoup的爬虫 我们已腾讯社招页面来做演示:http://hr.tencent.com/position.php?&start=10#a 使用BeautifulSoup4 ...
分类:编程语言   时间:2018-12-18 02:21:23    阅读次数:219
缓存算法:LRU、LFU、FIFO
LRU全称是Least Recently Used,即最近最久未使用的意思。如果一个数据在最近一段时间没有被访问到,那么在将来它被访问的可能性也很小。也就是说,当限定的空间已存满数据时,应当把最久没有被访问到的数据淘汰。 LFU(Least Frequently Used)最近最少使用算法。它是基于 ...
分类:编程语言   时间:2018-12-18 02:21:41    阅读次数:197
Hadoop错误:java.io.IOException: Incompatible clusterIDs
问题: 配置Hadoop集群时,一个节点的DataNode无法启动 排查: 查看hadoop-root-datanode-bigdata114.log文件,错误信息如下: java.io.IOException: Incompatible clusterIDs in /root/training/h ...
分类:编程语言   时间:2018-12-18 02:22:39    阅读次数:250
Python的itertools模块
本章将介绍Python自建模块itertools,更多内容请参考:Python参考指南 python的自建模块itertools提供了非常有用的用于操作迭代对象的函数。 首先,我们看看itertools提供的几个无限迭代器: >>>import itertools >>>natuals = iter ...
分类:编程语言   时间:2018-12-18 02:25:16    阅读次数:173
Python爬虫(二十四)_selenium案例:执行javascript脚本
本章叫介绍如何使用selenium在浏览器中使用js脚本,更多内容请参考:Python学习指南 隐藏百度图片 #-*- coding:utf-8 -*- #本篇将模拟执行javascript语句 from selenium import webdriver from selenium.webdriv ...
分类:编程语言   时间:2018-12-18 02:28:01    阅读次数:207
Python 文件(读\写)操作
文件(读\写)操作 open()函数,用来打开文件,创建file对象。open(name[,mode[,buffering]])name:要打开的文件mode:是打开文件的模式(读、写、追加)buffering:是否要寄存,默认为0或者False(不寄存),1或True表示寄存(意味着使用内存来代替 ...
分类:编程语言   时间:2018-12-18 02:28:25    阅读次数:233
java解析xml
先来一波链接 Java解析xml的四种经典方法 详解Java解析XML的四种方法—DOM/SAX/jdom/dom4j XML解析——Java中XML的四种解析方式 使用JDOM操作XML Dom4j完整教程 ...
分类:编程语言   时间:2018-12-18 02:29:22    阅读次数:152
python_IO编程
本篇文章将介绍python里面的I/O编程。更多内容请参考:python学习指南 I/O编程 读写文件时最常见的IO操作。Python内置了读写文件的函数,用法和C是兼容的。 读写文件前,我们必须了解一下,在磁盘上读写文件的功能都是由操作系统提供的,现代操作系统不允许普通的程序直接操作磁盘,所以,读 ...
分类:编程语言   时间:2018-12-18 02:29:58    阅读次数:220
<Python>判断变量是否是DataFrame 或者 Series
https://stackoverflow.com/questions/14808945/check-if-variable-is-dataframe Use the built-in isinstance() function. ...
分类:编程语言   时间:2018-12-18 02:31:38    阅读次数:362
Python爬虫(十九)_动态HTML介绍
JavaScript JavaScript是网络上最常用也是支持者对多的客户端脚本语言。它可以收集用户的跟踪数据,不需要重载页面直接提交表单,在页面嵌入多媒体文件,甚至运行网页游戏。 我们可以在网页源代码的<script>标签里看到,比如: <script type="text/javascript ...
分类:编程语言   时间:2018-12-18 02:32:27    阅读次数:237
java-final修饰符
1、修饰类:类不能被继承。 2、修饰变量:变量就成了常量,只能被赋值一次。(常量命名规范:如果是一个单词,所有字母大写;如果是多个单词,每个单词都大写,中间用下划线隔开。) 3、修饰方法:方法不能被子类重写。 ...
分类:编程语言   时间:2018-12-18 02:33:34    阅读次数:211
java利器------反射机制
java反射的概念:java的反射机制是指在运行状态下,对于一个类来说,可以得到这个类的所有方法和属性。对于一个对象来说,可以调用这个对象的人和方法和属性。反射机制首先会拿到该类的字节码文件(Class文件),然后反向获取这个类的所有信息。(注意:一个类型的类在运行中,只产生一个class文件)既然反射的前置条件是获取class类,所以不得不提出获取class的方法。获取class的几种方式:(1
分类:编程语言   时间:2018-12-18 02:33:41    阅读次数:226
Python爬虫Scrapy(二)_入门案例
本章将从案例开始介绍python scrapy框架,更多内容请参考:python学习指南 入门案例 学习目标 创建一个Scrapy项目 定义提取的结构化数据(Item) 编写爬取网站的Spider并提取出结构化数据(Item) 编写Item Pipelines来存储提取到的Item(即结构化数据) ...
分类:编程语言   时间:2018-12-18 02:33:51    阅读次数:248
进程池与线程池
一 进程池与线程池 在刚开始学多进程或多线程时,我们迫不及待地基于多进程或多线程实现并发的套接字通信。 server import socket from threading import Thread def communicate(conn): while True: try: data = c ...
分类:编程语言   时间:2018-12-18 02:34:47    阅读次数:231
java 内存区域
根据 java虚拟机规范 的规定,java虚拟机所管理的内存会包括以下几个运行时数据区域:堆,方法区,程序计数器,虚拟机栈,本地方法栈 程序计数器:当前线程所执行的字节码的行号,程序执行时根据行号获取下一条指令(通俗的讲,就是指令执行到什么位置) 因为java虚拟机多线程是CPU切换时间片执行,因此 ...
分类:编程语言   时间:2018-12-18 02:34:54    阅读次数:228
用filter过滤数组对象,并统计过滤的项目
var data=[ {id:1001,icon:"img/1.png",name:"餐饮0",num:1,price:10,a:1}, {id:1002,icon:"img/2.png",name:"餐饮1",num:1,price:20,a:2}, {id:1002,icon:"img/2.pn... ...
分类:编程语言   时间:2018-12-18 02:35:30    阅读次数:253
python20181217 面向对象的学习总结
元类(metaclass) # type()构建一个类 def f(self, name='python'): print('hello %s'% name) Test = type('Test', (object,), dict(show=f)) t = Test()t.show() # 另一种构 ...
分类:编程语言   时间:2018-12-18 02:36:02    阅读次数:227
Spring Cloud Stream消费失败后的处理策略(四):重新入队(RabbitMQ)
应用场景 之前我们已经通过 "《Spring Cloud Stream消费失败后的处理策略(一):自动重试》" 一文介绍了Spring Cloud Stream默认的消息重试功能。本文将介绍RabbitMQ的binder提供的另外一种重试功能:重新入队。 动手试试 准备一个会消费失败的例子,可以直接 ...
分类:编程语言   时间:2018-12-18 02:36:11    阅读次数:289
这里有基于javaweb的毕业设计代做服务,联系我们
A、就要毕业了,怎么才可以顺利的通过答辩,选题很重要,简单肯定就比较容易过答辩。我们可以选择基于java,基于web,基于ssh,基于ssm,基于j2ee的管理系统的设计与实现之类的题目。B、我们可以根据你的题目来设计,也可以我们来给你推荐题目。C、确认了题目以及需求后,我们就可以开始为你设计了。D、如果你还是不清楚或者根本就没有时间做,那就建议早点做打算。我现在用工作外的时间也可以帮助需要做,毕
分类:编程语言   时间:2018-12-18 02:36:18    阅读次数:391
netty源码解解析(4.0)-7 线程模型-IO线程EventLoopGroup和NIO实现(二)
把NIO事件转换成对channel unsafe的调用或NioTask的调用 processSelectedKeys()方法是处理NIO事件的入口: private void processSelectedKeys() { if (selectedKeys != null) { processSel ...
分类:编程语言   时间:2018-12-18 02:36:45    阅读次数:352
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!