搜素引擎抓取网站页面主要靠的是蜘蛛程序也就是我们常说的爬虫。正是因为有了这个程序,我们的网站才能被搜索引擎收录和查到。做seo,就是把网站设置的对蜘蛛程序更友好。
那么,网站对搜索引擎蜘蛛不友好的10点因素有哪些呢?
1、动态url
动态url就是数据库驱动的网站所生成的带有符号、随机的url。相比静态url,动态url不利于搜索引擎蜘蛛的爬行及抓取。这也就是网站seo优化时需要静态化或者伪静态化url的原因,因为笔者只用过wp,之前也只提到过wp网站seo优化如何伪静态化url。
2、死链
通俗的讲,死链就是无法打开的链接。搜索引擎蜘蛛如果在网站内爬行,却屡屡遭受无法打开页面的煎熬。显然,如此一来该网站对于搜索引擎蜘蛛来说正在逐渐的失去信任。
3、各种跳转
这个指的是通过不同的技术或指令,自动将一个网页跳转到另一个网页。目前搜索引擎比较支持的是301跳转,但是这往往被黑帽seo所利用,从而导致搜索引擎蜘蛛对其比较敏感。
4、flash动画
很多网站都会在页面上添加flash动画,但是搜索引擎蜘蛛说到底只是一个程序,它不能像人一样观看flash动画的内容。虽然搜索引擎一直在这方面努力,但是以目前的搜索引擎蜘蛛技术还不能完全有效的抓取flash的内容。
另外,如果在网站上出现了flash动画,搜索引擎都建议添加相应的文字描述,以便搜索引擎蜘蛛较直观的了解flash动画内容。
5、js代码
搜索引擎蜘蛛对抓取js代码也是比较困难的,大量的js代码会严重影响搜索引擎蜘蛛抓取的速度。所以,网站seo优化时要尽量避免,或者少用js代码。
6、框架结构
使用框结构设计网页流行于互联网诞生初期,但是由于不便于搜索引擎蜘蛛的抓取而被抛弃。在做网站seo优化时,应当完全摒弃框架结构,甚至不需要了解它。
7、必须登录浏览网站。很多网站有部分甚至全部内容需要注册登陆后才能浏览,大部分社会化媒体(如sns网站、微博等)即是如此。但是搜索引擎蜘蛛不会填写用户名密码,更不会注册。
8、sessionid
sessionid是为了跟踪每一位访问用户,生成唯一的sessionid,并加在url中。而这种仅仅sessionid不同的url的实际页面内容是相同的,从而会导致搜索引擎蜘蛛的重复收录。
9、强制使用cookies
搜索引擎蜘蛛实际是禁用cookies的,如果不启用cookies就无法正常显示内容的话,搜索引擎蜘蛛就无法看见网页的内容。
10、不稳定的服务器
如果网站因为服务器的问题经常性的无法正常访问,久而久之,搜索引擎蜘蛛爬到你的域名上却时常“碰壁”,搜索引擎蜘蛛自然而然的就会认为这个网站不靠谱。如此一来,网站也将失去搜索引擎蜘蛛的信任。