网站具有哪些特征才能符合蜘蛛的口味

首先来说一下页面结构

第一，网页内容尽量少用JS

百度蜘蛛在抓取的时候，是不能抓取JS里面的内容的，所以站长们在做用户能看到的内容的时候，不要写在JS里面，否则会影响网页的正常收录。当然对于百度抓取的链接也不能放在JS里面，会影响链接被发现。

第二，网站布局符合移动友好标准

对于移动设备来说，具有特殊性，在做移动页面设计的时候，要区别PC端的特殊要求。

第三，索引页&索引页翻页友好型

在做PC端的索引页和翻页的时候如果可能尽量列举全部翻页，至少要包含最近一段时间的所有内容。在翻页的时候只使用“上一页”“下一页”是不利于搜索引擎对页面的充分抓取的。

另外对移动端也有特殊性，在使用下拉触发加载的时候建议下拉加载次数上限为3次，一定要避免无线下拉加载的设计。

再来看一下抓取限制

1、避免预期以外的封禁

常见的预期意外的封禁有：建站模板中的封禁信息，服务器自动封禁策略，网站所在空间服务商封禁IP导致，在网站内容抓取异常时候可以考虑以上因素进行逐一排查。

2、使用标准重定向

在对网站改版的时候经常会出现页面的重定向跳转。

3、死链反馈

对于网站中出现死链接的时候，要设置百度蜘蛛抓取返回404的状态码以便百度蜘蛛能得到正确的反馈。