协议简介
Robots协议也称为爬虫协议、爬虫规则、机器人协议等,也就是robots.txt,网站通过Robots协议告诉搜索引擎可以抓取哪些页面和不能抓取哪些页面,优化网站的收录和权重。
协议规则
User-agent: * Disallow: /wp-admin/ Disallow: /wp-include/ Disallow: /wp-login* Disallow: /?s=* sitemap: https://域名/wp-sitemap-posts-post-1.xml
本站所有软件均来源于网络,仅供学习使用,请支持正版,如有侵权,联系删除!
×
微信扫一扫分享