设计出品
扫描关注网站建设微信号

扫一扫微信二维码

robots协议

新乡云优化2021-05-21新乡SEO

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(RobotsExclusionProtocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

是搜索引擎的一部分来定位和索引互联网上的每个可能回答搜索请求的网页,通常只在讨论robots的HTML标签或者robots.txt文件的时候使用。

王家兴16年实战经验,新乡seo/网站优化/网站建设/网站托管/网站安全维护团队掌握近百项{搜索引擎}算法,助力您的企业快速获客微信:zsyys18!

文章关键词