位置:首页 > 自学考试 >

荣文:百度快照不更新请“检讨”robots.txt文件

作者: | 发布时间:2019-06-15 06

这几天荣文被一个单子折腾的半死,外链加了不少,但是就不见网站排名上升,一直上不到首页,一直是在第二页游来游去,好的时候第一页,差的时候第二页,我还以为是人工词了,但是发现不是排名第一页的都是一些网站的内页。本来这个单子早就该上了,但是由于同事的疏忽将“汗蒸馆”做成了“汗蒸房”,现在的问题就是网站快照不更新,标题里全部是“汗蒸房”的词,搜索“汗蒸馆”排名靠不了前也是理所当然了。

网站排名上不了首页,都是快照惹的祸

在百度里搜索“汗蒸馆”一下你会发现,前几名网站的标题全部是“汗蒸馆”开头的词,当然细心的朋友肯定会发现:百度将“汗蒸馆”这个词分成了汗蒸和汗蒸馆这两个词。我现在做的单子排名第二页也就是汗蒸这个词起的“作用”。外链我一直是以汗蒸馆这个词组在做。我的单子外链比其它网站都要多,我想排上首页,最好的方法就是刷新快照。

网站首页不搜索,蜘蛛只抓取了robots.txt就走了

荣文在IIS里面看到了baiduspider的“踪影”,但是看一次伤心一次!本以为蜘蛛来了,肯定会带走点什么东西,哎!没有想到,带走的只是robots.txt文件。如下:

2010-07-05 22:00:34 W3SVC559 210.52.223.69 GET /robots.txt - 80 - 220.181.7.47 Baiduspider

这个情况一直持续了2个多星期,甭管百度大更新小更新,它都是抓了robots.txt文件就走。一开始我把robots.txt删除了,蜘蛛提示404,但是这样不太有好,蜘蛛也没有爬下去,这种方法不可取。

做百度sitemap,要么不做,要做就做好

我的解决方法是在robots.txt中去除了sitemap这个参数,因为我的网站sitemap太“难看”了。大家可以去看看大网站的网站地图,结构清楚,层次分明,但是小站长一般不会这么“费尽”的,搜索一个sitemap在线生成文件就可以了,这种方法方法xml版的还可以,但是html版的不太好。

其一:生成的全部是table,不利于蜘蛛爬行。

其二:网站里面细心看还有广告,这个不多说。

其三:像我接的这些单子,多数是asp版的程序,或许因为开始设计的时候他们偷懒,好几个栏目共用一个页面,所以N多页面标题都一样,这样的sitemap别说蜘蛛,就连你自己看了也很不爽吧。

本文是由北京新也装修公司站长首发,转载请务必保留出处:电子围栏 http://www.bjyttc.com/