robots.txt.1994 July 3rd.

Martijn Koster提出了 robots.txt标准 (机器人排除标准或机器人排除协议)作为W3CWWW-Talk邮件列表的一部分。 robots.txt文件中定义的规则用于防止或限制索引机器人访问网站。

robots.txt.提案于1994年
robots.txt.提案于1994年

发给我们你的建议 对于有趣的网站