主流搜索引擎都遵循robots文件指令，设置了robots文件的网站搜索引擎都不再抓取其中指定的页面或者文件，但是被robots文件禁止抓取的URL还是有可能出现在搜索结果中，只要有导入链接指向这个URL，搜索引擎就知道有这个URL存在，虽不会抓取页面内容，但是可能将以下几种形式显示在搜索结果中：

1.只显示URL，没有标题，描述，Google常这么处理。

2.显示开放目录或雅虎等重要目录收录的标题和描述。

3.导入链接的锚文本显示为标题和描述，百度常这么处理。

要想URL完全不出现在搜索结果中就需要使用页面上的meta robots标签。

通常标签会设置为：<meta name="robots" content="noindex">

使用以上标签的效果是禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。

接下来为大家详细介绍下meta robots标签的使用：

Meta robots标签是页面head部分meta标签的一种，用于指令搜索引擎禁止本页内容。

最简单的meta robots标签格式：

<meta name="robots" content="noindex,nofollow">

上面标签的意义是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。

content参数里面可以有一下几个参数：

noindex：告诉蜘蛛不要索引本页面。

nofollow：告诉蜘蛛不要跟踪本页面上的链接

nosnippet：告诉搜索引擎不要在搜索结果中显示说明

noarchive：告诉搜索引擎不要显示快照

noodp：告诉搜索引擎不要使用开放目录中的标题和说明

Google，必应，雅虎支持以上标签，但是百度的官方说法是目前只支持nofollow和noarchive

meta robots 标签要注意几点：

1.标签内容可以并列写，两个中间可以以逗号或者空格隔开，也可以没有

比如说< meta name="robots" content="noindex">

<meta name="robots" content="nofollow">

这两句可以写为<meta name="robots" content="noindex,nofollow">，这是与robots文件设置的格式有点区别的。

2.标签不区分大小写

3. <meta name="robots" content="index,follow">使用这句是没有任何意义的，普通需要被收录、索引、链接需要被跟踪的页面不用写meta robots标签。

【相关文章】

新手站长应学会如何运用禁止收录机制（一）

原文地址：http://www.yidunseo.com/blog/ynfx.html 转载请注明！