标签:拒绝 ios 关键词 前言 作业 https 搜索 注意事项 类型
<meta name="keywords" content="IT前言技术、iOS技术、HTML5技术、Android技术" />
<meta name="description" content="江哥热爱于IT前言技术、iOS技术、HTML5技术、Android技术研究" />
<meta name="author" content="Jonathan_Lee" />
<meta http-equiv="Refresh" content="2;URL=http://www.baidu.com/">
作用: 告诉搜索引擎当前网页的作业, 写给网络爬虫看的内容
格式: <meta name="robots" content="all|none|index|follow|noindex|nofollow" />
常见组合
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
:可以抓取本页,而且可以顺着本页继续索引别的链接
<META NAME="ROBOTS" CONTENT="ALL">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
:不许抓取本页,但是可以顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
:可以抓取本页,但是不许顺着本页抓取索引别的链接
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
:不许抓取本页,也不许顺着本页抓取索引别的链接。
注意事项
:
<META NAME="ROBOTS" CONTENT="INDEX,NOINDEX">
标签:拒绝 ios 关键词 前言 作业 https 搜索 注意事项 类型
原文地址:https://www.cnblogs.com/booksBlog/p/10340104.html