你的位置:首页 > 新闻动态 > 行业新闻
联系我们

SEO关键词优化了解搜索引擎蜘蛛爬行的原理!

2019/11/27 11:15:35      点击:
从事SEO关键词优化工作的应该都清楚,一个网页想要被收录,就必须有蜘蛛过来爬行,只有蜘蛛过来爬行,你的网站才有可能被搜索引擎收录。那么蜘蛛是怎么爬行的,他的爬行习惯是怎样的。


下面我们来说说蜘蛛爬行的原理,搜索引擎蜘蛛通过url链接爬行到达网页页面,按照从上到下,从左到右的习惯对网页内容爬行抓取,然后通过链接爬行进行到另一个页面,按照从上到下,从左到右爬行抓取,如此重复。那么,既然蜘蛛是通过链接爬行抓取页面信息的,是不是只要把网站上线了就一定会被爬行抓取呢?答案是:未必。想要正常访问网站进行抓取,还需具备以下几个条件:


新域名一般是不会有问题的,但如果使用的域名是老域名就必须无任何不良记录,如果域名被计入黑名单,有过作弊行为,被k过,这样的域名来建站是很难被收录的。


每一个网站就好像是站长自己的私密房间,既然是私密的,那么当有人要来拜访的时候就必须得遵守主人的协议了,至少也得先敲敲门、打声招呼吧。一样的道理,蜘蛛到达网站之后,首先也是要和网站打声招呼的,这个就是robots.txt协议了。每一个站长都必须在网站添加一份robots协议,告诉蜘蛛网站方不方便访问,如果是robots是禁止的写法,蜘蛛就不会再继续访问,如果是同意的写法,蜘蛛将按照协议进行爬行。虽然只是一份很简单的协议,却也是尤其重要的,这直接关系到网站能不能收录的问题,新站长们尤其要特别关注一下。至于robots的写法和坚持方法,网上有很多教程,大家自己去搜索一番即可得到想要的。