您坐在电脑前,关注着自己的工作,使用网站站长工具欣赏着自己的网站是多么的了不起。可是,等等!抓取错误页面满是“404 找不到”错误!出现这样的情况时,是否灾难就此来临?
请不要担心,年轻的朋友们。让我们一起来了解一下404,看看它们是如何影响您的网站的(或者不会造成影响):
问:网站站长工具中报告的404错误会影响我的网站排名吗?
答:404是网络中一个极其正常的组成部分;
互联网总是在不断变化,新的内容诞生,旧的内容消失,而当旧内容消失的时候,它(在理想状况下)会返回一个404 HTTP响应代码。
搜索引擎会察觉到这点;正如您在上图中所看到的,我们在自己的网站上也有404错误,并且整个网络上都存在。事实上,我们建议,当您在网站上去掉一个页面的时候,您最好确保它返回一个适当的404或410响应代码(而不是“软 404”)。请记住,为了让我们的网络
爬虫能够看到一个URL的HTTP响应代码,它就必须能够抓取那个URL——如果该URL被您的robots.txt文件所阻挡,那么我们将无法抓取并看到它的响应代码。如果您网站上的某些URL不复存在 ,返回404,并不会影响您网站的其他URL(这些URL会返回200 (成功))在我们搜索结果中的表现。
问:这么说404一点都不会影响我的网站吗?
答:如果您网站上的某些URL出现了404,这一现象本身并不会损害到您或对您在谷歌的搜索结果造成负面影响。然而,在某些情况下可能出现其他原因而让您希望解决某些类型的404。例如,如果有些出现了404的页面是您十分在意的,您就应该看看为什么我们在抓取它们的时候会看到404! 如果您发现了一个合法URL的拼写错误(而非),那么很有可能是有人想要链接到您的页面而仅是犯了个
打字错误。这时可以不返回404,您可以将拼写错误的URL 301重新指向至正确的URL,并捕捉来自该链接的有意
通信。并且,当用户确实登陆至您网站的一个404页面时,您还可以确保您帮助用户找到他们所要寻找的内容,而不是仅仅是显示“404 找不到该页面”。
问:请再介绍一些“软 404”的有关内容。
答:软404是指网络服务器对于一个不存在的URL返回的除404(或410)之外的响应代码。一个常见的例子就是当一位网站所有者希望为其用户返回一个带有有用信息的漂亮404页面,并认为为了向用户提供该内容他就必须返回一个200响应代码。其实并非如此!您可以返回一个404响应代码而同时向用户提供您希望的任何内容。另一个例子就是网站将所有未知的URL重新指向至其首页,而非返回404。这两种情况都可能为我们对您网站的理解和索引造成负面影响,因此我们建议应确保您的服务器针对不存在的内容返回合适的响应代码。请记住,仅仅因为页面显示“404 找不到该页面”并不代表它确实返回了404 HTTP响应代码——请使用网站站长工具中的像
Googlebot一样抓取功能再次确认。如果您不了解如何配置服务器从而返回正确的响应代码,则请查看您的网络主机帮助文件。
问:我如何知道一个URL应该返回404、301还是410?
答:当您从网站上移除一个页面时,请考虑一下该内容是将被移动到其他地方,或者您不再打算在网站上再显示该类内容。如果您要将此内容移动到一个新的URL,那么您应该将旧的URL301重新指向至新的URL——这样当用户连接至旧的URL寻找该内容时,他们就能被自动重新指向至与他们寻找的内容有关的页面。如果您打算完全删掉该类内容,并且不再在网站上提供能够满足相同用户需求的内容,那么旧的URL应该返回一个404或410。目前,Google将410(已删除)与404(找不到该页面)同等对待,因此您返回404还是410对我们来说并不重要。
问:我的大部分404都是从未在我的网站上存在过的奇怪URL。这是怎么回事?它们是从哪里来的?
答:如果Google在网络的某个地方找到一个指向您的域上的URL的链接,则它可能试图抓取该链接,不论内容是否实际存在;而当这种情况发生时,如果找到不该内容,则您的服务器应该返回一个404。这些链接可能由以下原因造成,如某些人在链接至您网站时出现的打字错误、某些类型的错误配置(如果链接是自动生成的,例如由CMS自动生成),或由于Google在识别并抓取嵌入在
JavaScript的链接或其他嵌入内容时造成;再或者,它们可能是我们了解您的服务器如何处理未知URL时所做的快速检查的一部分,等等。如果您在网站站长工具看到针对您网站上不存在的URL报告的404,您可以放心地忽略它们。我们不知道哪些URL对您来说是重要的,而哪些应该返回404,因此我们会向您显示所有在您网站上找到的404,并且如果需要的话,让您来决定哪些应该引起您的注意。
问:有人抄袭了我的网站并且造成了很多404。它们都是附带有其他代码的“真正的”URL,例如http://www.example.com/images/kittens.jpg" width="100" height="300" alt="kittens"/>
这样会损害我的网站吗?
答:通常情况下,您不必担心类似这样的“断开的链接”会损害您的网站。我们知道,网站所有者对抄袭他们网站或以奇怪方式链接至网站的人几乎无能为力。如果您是regex的能手,那么您可以考虑根据此处的说明将这些URL重新指向,但是通常这一情况无需您担心。请记住,当您认为有人正在从您的网站盗取原始内容时,您还可以提交从Google删除内容的申请。
问:上周我
修复了网站站长工具报告的所有404,但是它们仍然在我的账户里有所显示。这是说我没有正确的修复它们吗?它们多长时间才能够消失?
答:请查看抓取错误页面的“上次检测到此错误的时间”一栏——这是我们检测到每个错误的最近的日期。如果该栏中的日期在您修复错误之前,这就意味着自该日期起我们还未遇到这些错误。如果这些日期距离较近,则说明我们在抓取时还在继续遇到这些404。
实施修复之后,您可以通过使用像Googlebot一样抓取检查一下我们的网络爬虫是否能够看到新的响应代码。利用几个URL进行测试,如果没有问题,则这些错误应该不久就将开始从您的抓取错误列表中消失了。
问:我是否能够使用Google的URL移除工具使404错误从我的账户中更快地消失?
答:不可以;URL移除工具是用来从Google的搜索结果而不是您的Webmaster Tools账户中移除URL的。该工具仅用于紧急的移除请求,并且如一个URL已经返回404则并没有必要使用此工具,就其本身而言,URL将随着时间的推移退出我们的搜索结果。请关注我们的博客文章的下半部分,了解URL移除工具能够为您提供的功能的详细信息。