标签:robot 内容 另一个 页面 管理员 切换 访问 找不到 并且
一:1xx(临时响应)表示临时响应并需要请求者继续执行操作的状态代码。
100(继续)请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分,正在等待其余部分;101(切换协议)请求者已要求服务器切换协议,服务器已确认并准备切换。
二:2xx(成功)表示服务器成功处理了请求的状态代码。
200(成功)服务器已成功处理了请求。通常,这表示服务器提供了请求的网页。 如果针对您的 robots.txt 文件显示此状态,则表示 Googlebot 已成功检索到该文件;201(已创建)请求成功并且服务器创建了新的资源;202(已接受)服务器已接受请求,但尚未处理;203(非授权信息)服务器已成功处理了请求,但返回的信息可能来自另一来源;204(无内容)服务器成功处理了请求,但没有返回任何内容;205(重置内容)服务器成功处理了请求,但没有返回任何内容;206(部分内容)服务器成功处理了部分 GET 请求。
三:3xx(重定向)要完成请求,需要进一步操作。 通常,这些状态代码用来重定向。 Google 建议您在每次请求中使用重定向不要超过 5 次。 您可以使用网站管理员工具查看一下 Googlebot 在抓取重定向网页时是否遇到问题。 诊断下的网 络抓取页面列出了由于重定向错误而导致 Googlebot 无法抓取的网址。
300(多种选择)针对请求,服务器可执行多种操作。 服务器可根据请求者(用户代理)选择一项操作,或提供操作列表供请求者选择;
301(永久移动)请求的网页已永久移动到新位置。 服务器返回此响应(对 GET 或 HEAD 请求的响应)时,会自动将请求者转到新位置。 您应使用此代码告诉 Googlebot 某个网页或网站已永久移动到新位置;
302(暂时移动)服 务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。 此代码与响应 GET 或 HEAD 请求的 301 代码类似,会自动将请求者转到不同的位置,但您不应使用此代码来告诉 Googlebot 某个网页或网站已经移动,因为 Googlebot 会继续抓取原有位置并编入索引;
303(查看其他位置)请求者应当对不同的位置使用单独的 GET 请求来检索响应时,服务器返回此代码。 对于除 HEAD 之外的所有请求,服务器会自动转到其他位置;
304(未修改)自从上次请求后,请求的网页未修改过。服务器返回此响应时,不会返回网页内容。如果网页自请求者上次请求后再也没有更改 过,您应当将服务器配置为返回此响应(称为 If-Modified-Since HTTP 标头)。 由于服务器可以告诉 Googlebot 自从上次抓取后网页没有更改过,因此可节省带宽和开销;
305(使用代理)请求者只能使用代理访问请求的网页。 如果服务器返回此响应,还表示请求者应使用代理;
307(暂时重定向)服 务器目前从不同位置的网页响应请求,但请求者应继续使用原有位置来进行以后的请求。 此代码与响应 GET 和 HEAD 请求的 301 代码类似,会自动将请求者转到不同的位置,但您不应使用此代码来告诉 Googlebot 某个页面或网站已经移动,因为 Googlebot 会继续抓取原有位置并编入索引。
四:4xx(请求错误)这些状态代码表示请求可能出错,妨碍了服务器的处理。
400(错误请求)服务器不理解请求的语法;401(未授权)请求要求身份验证。 对于需要登录的网页,服务器可能返回此响应;
403(禁止)服务器拒绝请求。 如果您看到 Googlebot 在尝试抓取您网站上的有效网页时收到此状态代码(可以在 Google 网站管理员工具诊 断下的网络抓取页面上看到此信息),可能是您的服务器或主机拒绝 Googlebot 访问;
404(未找到)服务器找不到请求的网页。 例如,如果请求服务器上不存在的网页,服务器通常会返回此代码。如果您的网站上没有 robots.txt 文件,而您在 Google 网站管理员工具”诊断”标签的 robots.txt 页上看到此状态,那么这是正确的状态。 但是,如果您有 robots.txt 文件而又看到此状态,则说明您的 robots.txt 文件可能命名错误或位于错误的位置 (该文件应当位于顶级域名,名为 robots.txt)。如果您看到有关 Googlebot 尝试抓取的网址的此状态(在”诊断”标签的 HTTP 错误页上),则表示 Googlebot 追踪的可能是另一个页面的无效链接(是旧链接或输入有误的链接);405(禁用的方法)禁用请求中指定的方法;406(不可接受)无法使用请求的内容特性响应请求的网页;407(需要代理授权)此状态代码与 401(未授权)类似,但指定请求者应当授权使用代理。 如果服务器返回此响应,还会指明请求者应当使用的代理;408(请求超时)服务器等候请求时发生超时;409(冲突)服务器在完成请求时发生冲突。 服务器必须在响应中包含有关冲突的信息。 服务器在响应与前一个请求相冲突的 PUT 请求时可能会返回此代码,同时会附上两个请求的差异列表;410(已删除)如果请求的资源已永久删除,服务器就会返回此响应。 该代码与 404(未找到)代码相似,但在资源以前存在而现在不存在的情况下,有时会用来替代 404 代码。 如果资源已永久删除,您应当使用 301 指定资源的新位置;411(需要有效长度)服务器不接受不含有效内容长度标头字段的请求;412(未满足前提条件)服务器未满足请求者在请求中设置的其中一个前提条件;413(请求实体过大)服务器无法处理请求,因为请求实体过大,超出服务器的处理能力;414(请求的 URI 过长)请求的 URI(通常为网址)过长,服务器无法处理;415(不支持的媒体类型)请求的格式不受请求页面的支持;416(请求范围不符合要求)如果页面无法提供请求的范围,则服务器会返回此状态代码;417(未满足期望要求)服务器未满足”期望”请求标头字段的要求。
五:5xx(服务器错误)这些状态代码表示服务器在尝试处理请求时发生内部错误。 这些错误可能是服务器本身的错误,而不是请求出错。
500(服务器内部错误)服务器遇到错误,无法完成请求;501(尚未实施)服务器不具备完成请求的功能。 例如,服务器无法识别请求方法时可能会返回此代码;502(错误网关)服务器充当网关或代理,从上游服务器收到无效响应;503(服务不可用)服务器目前无法使用(由于超载或停机维护)。 通常,这只是暂时状态;504(网关超时)服务器充当网关或代理,但没有及时从上游服务器收到请求;505(HTTP 版本不受支持)服务器不支持请求中所用的 HTTP 协议版本。
HTTP 返回状态代码详细解释
标签:robot 内容 另一个 页面 管理员 切换 访问 找不到 并且
原文地址:http://www.cnblogs.com/zoraliu66/p/6529799.html