双色球最大奖历史记录:seo优化:顶级seo高手robots.txt的写法
双色球 www.wt5vx.com.cn 发布时间:2018-03-09 10:03:31 来源:双色球 编辑:SEO知否    人点击
seo优化:顶级seo高手robots.txt的写法
近几日有不少同学反应,他们看了很多大站,robots的写法也是各有不同,有的不知道为什么要这么写,这样写robots针对seo的意义在哪里?
今天seo知否小编分析2个站点,为大家详细解释,下面是干货时间:
首先,咱们先看这个站点,他的robots写法是:
红框括起来的,一看就知道这个站点是dedecms搭建的。下面还有2个就是站长本人创建。重点说一下:
Disallow: /*?* 解释:url中只要包含了问号(“?”),那么将屏蔽蜘蛛的抓取
Disallow: /*list* 解释:url中只要包含了list字符(“list”),那么将屏蔽蜘蛛的抓取
详细解读:
第一个,为什么屏蔽带“?”的url:因为带“?”的url都是动态地址,对搜索引擎并不友好,都晓得静态地址是对seo排名最好的。所以屏蔽带“?”的url是必须的。
第二个,为什么屏蔽url中只要包含了list字符:因为带list的url,一般都是列表页,列表页都会有很多分页,而有分页的话,这些页面有一个共同点:title基本都是相同的,只是末尾会有不同的“第几页”,而这样会被搜索认为都是重复title,所以必须屏蔽。
再来看一个大站,2345电影站,他的robots:
大站的一个共同点:都屏蔽了带“?”url的抓取。而且屏蔽了:Disallow: /search_* 搜索结果页面的抓取。其他的不做多解释,屏蔽的目的只有一个:这些页面不想被搜索收录,因为这些页面不在参与排名的页面当中。
再扩展点讲讲:当你要做某个网站时,网站搭建之初,网站关键词挖掘,布局,参与排名的页面(url)都有哪些,站内优化,站外优化的方式是什么。这些问题,在网站建设前就要部署计划好。所以说seo也是一个系统的工程。(成功之前,是要有准备、有铺垫。)
但是seo学习难吗,真的一点也不难,推荐观看学习基础的seo视频教程:怎么学习seo 免费:2周精通SEO自学教程!