经过实战与大量的案例证明robots.txt主要有以下四点作用：众所周知用来屏蔽死链接，无内容页面；屏蔽有内容但对排名没有任何帮助的页面以及一些重复内容页面。

一、屏蔽死链接：什么叫死链接，就是搜索引擎蜘蛛曾经抓取过，当再一次抓取的时候已经不存在或打不开，或者搜索引擎蜘蛛直接发现的错误链接我们称之为死链接。

死链接的危害大不大？

1、影响网站更新（影响网站收录）

2、影响网站快照

3、影响关键词排名

所以说死链接需要屏蔽。

二、屏蔽无内容页面

什么叫无内容页面：动态的评论页，比如织梦在页面的最下面，其实评论页有一个单独的动态地址。搜索引擎可以单独抓取到这样的动态地址，有多少页面就有多少评论页。这些属于都是有害的，搜索引擎就会对你这个网站进行隐权和处罚。

比如还有打印页面 如www.gov.cn 搜索引擎是能够抓取到的这个的打印的页面。

比如说，康盛的DZ X 1.5论坛。个人用户中心就是一个无内容页面。

织梦也有一个 个个用户中心。搜索引擎会完全抓取到的，我们需要屏蔽。

三、有内容对排名没有帮助。 需要屏蔽少占用权重和资源。

比如说：联系我们，用户留言，登陆，注册，收藏我们，退订协议，网站招聘等等。

四、重复内容页面，对网站有巨大危害 如果过多就会造成降权，比如404页面，论坛有大量的重复性内容页面。

总结：做SEO就是注意一些小小的细节，SEO er刀尖上的活，我们要做到步步为赢，以前我觉得没有多少用，但自己的网站慢慢做搜索引擎认可以及大量的内容收录，发现我错了，特别是操作老域名，你会觉得robots.txt的神奇作用，今天是情人节祝愿各位站长爱情，事业双丰收！