安装Centos7时忘记设置联网,从没网到联网配置: 一、输入ip addr命令查看联网信息(旧版本系统好像是ifconfig命令查看); 二、上面看不到IP地址,说明没网,进入到/etc/sysconfig/network-scripts目录,输入ls查看有哪些文件,ifcfg-开头的文件就是网卡 ...
分类:
其他好文 时间:
2019-12-25 13:05:03
阅读次数:
67
本文只是作为知识整理,尽可能的收集一些常用的内网指令。本人原伸手党一枚,希望这些内容对新人有用,大牛可自行忽略。 0x00 内网信息收集 一、单机基础信息收集 如果是获得第一台初始主机的权限的话,我们需要尽可能的多收集当前机器的的信息,包括主机是在域还是在工作组 中、主机所在的内网网段的信息、主机当 ...
互联网中的数据是海量的,然而大数据的重点并不在“大”,而在于“有用”。“如何自动高效地采集互联网中我们需要的数据信息并为我们所用?”这是一个重要的问题!而爬虫技术就是为了解决这些问题而生的。什么是网络爬虫?网络爬虫是模拟客户端发生网络请求,接收请求响应,一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。它们可以自动采集所有其能够访问到的页面内容,以获取或更新这些网站的内容或检索方式。网络爬虫
分类:
Web程序 时间:
2019-12-20 20:44:18
阅读次数:
136
爬虫简介: 网络爬虫是按照一定的规则,自动的抓取万维网信息的程序或者脚本。 各编程语言编写爬虫程序: 1,PHP:PHP是世界是最好的语言,但他天生不是做这个的,而且对多线程、异步支持不是很好,并发处理能力弱。爬虫是工具性程序,对速度和效率要求比较高。 2,Java:生态圈很完善,是Python爬虫 ...
分类:
其他好文 时间:
2019-12-19 19:08:31
阅读次数:
94
爬虫简介: 网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取互联网信息的程序或者脚本。 爬虫处理图效果 1.获取网页 通过上图知道 使用request发送get请求,获取网页的源代码。 import requests respone ...
分类:
其他好文 时间:
2019-12-02 16:58:10
阅读次数:
83
1.简述互联网信息抓取的方式。 互联网信息自动抓取,最常见且有效的方式是使用网络爬虫。 2.简述舆情系统的组成架构。 用户终端->采集层->分析层->呈现层->用户 3.中文分词算法可以分为哪几类? (1)基于字符串匹配的分词方法,它是待处理的中文字符串与一个“尽可能全面”的词典中的词条按照一定的规 ...
分类:
其他好文 时间:
2019-12-01 16:51:40
阅读次数:
265
详细信息 情况1. 修改公网对应的主机名 集群公网对应的主机名是在安装时输入的,并且被记录在 OCR 中。这个主机名在安装之后是不能修改的。唯一的修改方法是删除节点,修改主机名,之后将节点重新添加到集群,或者直接重新安装集群软件,并完成后续的克隆配置。 情况2. 只修改公网 IP或者VIP, 但是不 ...
分类:
其他好文 时间:
2019-11-29 15:36:40
阅读次数:
64
2019年9月以来,不少因为非法使用“爬虫”技术,而使公司面临诉讼,程序猿被警察带走的新闻震惊了IT圈的小伙伴们! 我只是个写爬虫的,跟我有什么关系? 许多程序员都有这样的想法,技术是无罪的,我只是个打工的程序员,公司干违法的业务,跟我没关系。。。只能说,程序猿们真是图样图森破了。 看到那么多爬虫导 ...
分类:
其他好文 时间:
2019-11-25 18:21:32
阅读次数:
252
使用过阿里云ECS云服务器的朋友可能发现25端口不能使用了,阿里云官方给出的回复如下:您好,尊敬的阿里云用户,由于国际与国内均对垃圾邮件进行严格管控,我国《互联网信息服务管理办法》、《中国互联网协会反垃圾邮件规范》均对垃圾邮件进行说明与管理规范,为了共同维护良好的网络环境,鉴于服务器25端口被大量垃 ...
分类:
其他好文 时间:
2019-11-21 12:24:42
阅读次数:
70
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本 示例一:很早之前,用C#通过正则表达式写过一个小功能,就是获取自己写过的博客的数量以及标题和书写时间,现在我们用python来再次实现这个这个功能 http ...
分类:
编程语言 时间:
2019-11-15 20:40:59
阅读次数:
79