适用于WordPress的Robots协议规则

腾轩网 腾轩网 1420 其它教程


协议简介

Robots协议也称为爬虫协议、爬虫规则、机器人协议等,也就是robots.txt,网站通过Robots协议告诉搜索引擎可以抓取哪些页面和不能抓取哪些页面,优化网站的收录和权重。

20220405203359164916203937182.png

协议规则

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login*
Disallow: /?s=*

sitemap: https://域名/wp-sitemap-posts-post-1.xml