【新建页面URL层级<=4】一般新建未来具有搜索流量捕获能力的,均由SEO来设计url路径规则。
【禁用iframe框架、异步、flash、javascript等源码中无法显示具体内容的加载方式】商业爬虫虽有模拟浏览器加载的能力,但限于成本短期不会大规模铺开,所以iframe、异步加载的内容对爬虫属于暗网。
【网页埋点添加跟踪参数,使用onmousedown方式而非tracelog】全站埋点均通过先鼠标点击触发,url在拼接统计参数的形式。而非直接在href中把统计参数加在url上
【URL不包含参数或会话ID】这些技术可能会导致spider对网站检索不完整,因为spider或许无法排除url不同,但实际都是同一套页面的地址。
【请求头添加If-Modified-Since】爬虫spider一定概率根据该标签获知网页是否更新,判定是否进入抓取列表。一定程度上减少重复页面的抓取次数,提高抓取新页面/更新页面的效率
【禁用隐藏文本及链接】
【禁用隐藏内容或欺骗性的重定向】常见如登陆打断(各种论坛、及之前看准网也存在),若因产品需求必须面向用户隐藏,则需对符合爬虫spider的UA或者IP开放完整内容。
【页面正式开发前需要SEO介入】产品部门进行产品评审阶段,需要SEO介入,以确保页面是否符合SEO友好规范。以避免页面上线后,SEO在发现问题,出需求调整,增加本可避免的时间成本。
【全站添加移动适配标签(若有对应的M页)】
PC页面,如:
<meta name="mobile-agent" content="format=html5;url=https://m.1688.com/offer_search/-BBFAD6C6C4CDBBF0C7F2.html">
<meta name="mobile-agent" content="format=xhtml;url=https://m.1688.com/offer_search/-BBFAD6C6C4CDBBF0C7F2.html">
<link rel="alternate" media="only screen and (max-width: 640px)" href="https://m.1688.com/offer_search/-BBFAD6C6C4CDBBF0C7F2.html" />
PS:三个都加
M页面,如:
<link rel="canonical" href="http://m.1688.com/offer_search/-BBFAD6C6C4CDBBF0C7F2.html"/>
【全站添加禁止转码标签(M和PC页面均添加)】
`<meta http-equiv=”Cache-Control” content=”no-transform” />`
`<meta http-equiv=”Cache-Control” content=”no-siteapp” />`
【添加结构化数据标签】
详情文档见360文档:[http://www.so.com/help/help_3_9.html]
360搜索结果中的略缩图,全部引用结构化数据标签中的property="og:image"
【统计代码】所有页面均需要添加GA统计代码
VIA: GoGo闯-SEO极客
- 我的微信
- 这是我的微信扫一扫
- 我的微信公众号
- 我的微信公众号扫一扫