当前位置: 首页 > SEO博客 > 详解sitemap 404页面 Robots.txt

详解sitemap 404页面 Robots.txt

时间:2011-11-26 07:21:05
搜索引擎优化(SEO)需要全面提升网站的搜索引擎友好度,因此需要注意很多SEO细节,比如今天探讨的SEO三剑客sitemap、404页面、Robots.txt文件,都是很多网站容易遗忘的细节,很多新站就是因此不被快速收录,很多老站也是因此排名上不去,其实优化好这三个要素的工作并不是非常难,但优化好以后,特别对网络蜘蛛友好度会提升。那么sitemap、404页面、Robots.txt是什么呢?今天在SEOTcs上,vc来详细解说一下。

第一位登场人物:sitemap,人送绰号:网站地图。

为什么需要他呢?你想想,你去一个陌生的城市,第一个需要的就是一张地图,要不然很容易LOST!同理,搜索引擎来你的网站,也需要这样的一张网站地图,特别是你的网站结构非常特别,别出心裁!

在专业术语上,sitemap就是一个页面,上面放置了网站上所有页面的链接是,一个网站所有链接的容器,根据网站的结构、框架、内容,生成的导航网页文件。大多数人在网站上找不到自己所需要的信息时,可能会将网站地图作为一种补救措施,搜索引擎的网络蜘蛛非常喜欢网站地图。下图,就是SEOTcs的网站地图,可以作为标准模板进行参考:

seotcs网站地图

PS:如果想看得更清楚,直接回到SEOTcs的首页,拉到最下面点击网站地图就ok!

接着,请出我们的2号男嘉宾:404页面,大家欢迎!(为什么是男嘉宾?)

404页面的爱情宣言:苦海无边,回头是岸!(哦~条件反射,电视看太多)

好了,不联想了,这样搜索引擎友好度不好。404页面就是一个网站内的报错页面,大家可以自检,在你的网站url后随便输入一些字母,看反馈:

第1种反馈,如下图,那么就很好,比如SEOTcs的404页面,有图有真相,url地址还是在本站:

seotcs404页面

如果出现下图中的第2种反馈,那么就赶紧优化把,客户可能通过后退回到网站,那么搜索引擎没有手指和鼠标,他怎么回来呢?这对SEO也是不小的打击,用户输入可能错误,网页地址可能变更,网站内部出现死链等情况,没有404页面,损失就无法挽回!

 

PS:404是W3C规定的HTTP状态码中的一种。是WWW网站访问比较经常出现的错误。告诉浏览者其所请求的页面不存在或链接错误,同时引导用户使用网站其他页面而不是关闭窗口离开。这种专业的官方解释,就放在最后感兴趣的朋友看看。

随着我的闹钟响起,排最后的Robots.txt先生有点坐不住了!

Robots.txt抢过键盘开始输入:

首先,我要向vc提出抗议!因为,在搜索引擎访问网站的时候,我,是第一个要被查看的文件!今天排在最后,让我,很是气愤!我非常重要,因为通过我,会告诉网络蜘蛛程序在服务器上什么文件是可以被查看的!在进行SEO网站优化的时候,要通过我,把一些内容不想让蜘蛛抓取,比如js等后台程序文件进行拦截,如果我,不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面,会大大降低网站的搜索引擎抓取效率!因此,做SEO,我,很重要!

输入上述文字后,Robots.txt甩手就走,并且把vc写入了它的Disallow命令中,作为要拦截的网名之一。我表示很无辜,为了让大家更清楚了解,只能牺牲小我~其实,这位兄弟,平时话不多的,一般只讲两句:

User-Agent: 适用下列规则的漫游器

Disallow: 要拦截的网页

今天是他算是有感而发了,最后晒一下SEOTcs的Robots.txt给大家作为参考,记得要重点关注这位脾气大的先生!

seotcsrobots
分享按钮