室内设计培训
平面设计培训
部落窝教育
网站首页 >> 网站网店运营 >> 文章内容

语音教程:用robots屏蔽死链和重复页面方法(下)

[日期:2010-11-23]   来源:IT部落窝  作者:IT部落窝   阅读:1826[字体: ]

  答案:百度蜘蛛写法是:Baiduspider,动态路径后面是有问号的

  User-agent: Baiduspider

  Disallow: /*?*

  举例三:只允许百度蜘蛛访问你的网站,禁止百度蜘蛛抓取所有的图片。(含有通配符的语句举例,其中通配符“*”,代表所有的,“$”,这个符号代表结束符。)

  答案:

  User-agent: Baiduspider

  Disallow:

 

  User-agent: *

  Disallow: /

 

  User-agent: Baiduspider

  Disallow: /*.jpg$

  Disallow: /*.jpeg$

  Disallow: /*.gif$

  Disallow: /*.png$

  Disallow: /*.bmp$

  解释:前面两个User-agent的顺序不能颠倒,然后把语句之间用空行隔开,这样才标准,先允许百度蜘蛛进来,然后不允许其余的蜘蛛进来,百度蜘蛛进来以后,什么链接都会抓取,然后看到以jpg$结尾的蜘蛛就不会抓。

  Robots文件的生效时间:一般更改robots文件后,需要4周后生效,并不是修改后马上生效。

  本文相关术语和工具介绍

  什么是死链接,什么事错误链接,如何检查网站的死链接和错误链接。

  第一,什么是死链接?死链接就是指原来正常,后来失效的链接。死链接发送请求时,服务器返回404错误页面。

  在下面这些情况下都会出现死链错误:

  1.动态链接在数据库不再支持的条件下,变成死链接。

  2.某个文件或网页移动了位置,导致指向它的链接变成死链接。

  3.网页内容更新并换成其他的链接,原来的链接变成死链接。

  4.网站服务器设置错误。

  从用户的角度来看,死链接和错误链接的表现是一样的,所以一般我们并不需要死板的区别死链接和错误链接。但作为 SEO 人员或网站管理员,我们要避免网站出现死链接,因为从死链接的多少可以评价一个网站的权威性。

  第二,什么是错误链接?根本不存在的链接,就是错误链接。

  发生错误链接的情况有:用户对域名拼写错误。 URL地址书写错误。 URL后缀多余了或缺少了斜杆。 URL地址中出现的字母大小写不完全匹配。

  第三,错误链接与死链接的区别:

  错误链接是由于用户的疏忽,请求的链接不存在。死链接是原来访问正常,后来因为网站的变故而不能访问。

  第四,网站有死链接怎么办?如何检查网站的死链接和错误链接?

  怎么知道网站上有死链接?我们可以通过死链接检测工具找到死链接所在的位置,去除掉。

  在这里,小编给大家推荐一款死链接检测工具。

  Xenu-死链接检测工具介绍:

  Xenu 是一款深受业界好评,并被广泛使用的死链接检测工具。时常检测网站并排除死链接,对网站的 SEO 非常重要,因为大量死链接存在会降低用户和搜索引擎对网站的信任。

  Xenu 工具主要具有以下特征:

  检测彻底:能够检测到图片、框架、插件、背景、样式表、脚本和 java 程序中的链接。报告形式合理多样,死链接一目了然。 提供出现死链接的网页,方便扫除导出链接错误。能够侦测重定向URL,可以选择是否侦测站外链接。

  Xenu-死链接检测工具使用介绍:

  下载并安装,然后运行,出现 Tips and Tricks 窗口,点击 Close 按钮。 点击左上第二行第一个按钮。出现一个对话框,在对话框第一行,写入自己的URL。如:http://www.ittribalwo.com/,点击底部“OK”,就完成了。 报告结果中,出现红色的部分即是死链接。

  如果大家在阅读本文后,需要Xenu-死链接检测工具或者本文的语音教程,可以直接联系本站客服QQ:529828270,客服人员传给你。

IT部落窝PS,CDR,213班 分享到: QQ空间 新浪微博 腾讯微博 人人网
photoshop教程
Photoshop教程
平面设计教程
Photoshop教程