一人CEO/SEO工具/Robots.txt生成器

Robots.txt 生成器

可视化配置搜索引擎爬虫规则,一键生成并下载

全局规则设置

搜索引擎配置

为每个搜索引擎设置特殊的爬取规则(留空表示使用全局默认规则)

百度 (Baidu)
必应 (Bing)
谷歌 (Google)
搜狗 (Sogou)
头条 (Toutiao)
Yandex
DuckDuckGo
360搜索
雅虎 (Yahoo)
MSN

不允许的路径

设置不允许搜索引擎爬取的目录或路径(如 /admin/、/private/)

代码预览

# Generated by 一人CEO Robots.txt Generator
# https://yirenceo.cn/robots-generator

User-agent: *

使用提示

  • • 生成后将 robots.txt 文件上传到网站根目录
  • • 确保文件可访问:yoursite.com/robots.txt
  • • 定期检查搜索引擎爬虫日志

立即检查网站SEO

使用我们的免费SEO检测工具,全面分析网站搜索引擎表现

免费SEO检测