什么是robots.txt？
2022-07-25 09:51:33
什么是robots.txt？
Robots.txt是一个纯文本文件。通过在该文件中声明本网站不想被机器人访问的部分，本网站的部分或全部内容不能被搜索引擎收录，或者指定搜索引擎只收录指定的内容。
当搜索机器人访问一个站点时，它会首先检查该站点的根目录中是否存在robots.txt。如果找到，搜索机器人会根据文件内容确定访问范围。如果文件不存在，搜索机器人将沿着链接抓取它。
相关阅读：
2022-07-25 09:51:33
Robots.txt是一个纯文本文件。通过在该文件中声明本网站不想被机器人访问的部分，本网站的部分或全部内容不能被搜索引擎收录，或者指定搜索引擎只收录指定的内容。
当搜索机器人访问一个站点时，它会首先检查该站点的根目录中是否存在robots.txt。如果找到，搜索机器人会根据文件内容确定访问范围。如果文件不存在，搜索机器人将沿着链接抓取它。
相关阅读：
