我们都喜欢自己的机器人被自动化工具爬取和复制,对吧?对吧?!
哦......我们不喜欢?该死。

好吧,幸运的是我早就为这个答案做好了准备!点击附加的脚本,获取更多信息以及一个可用且经过测试的脚本/方案!

更新:添加了一条说明,建议在发布前稍早一点附加脚本,以避免 JAI 需要一些时间才能正确激活它(爬取往往发生在前 15 分钟左右),并在发布前进行测试!另外......这只有在你的机器人定义实际上是隐藏的情况下才有效,否则爬虫可以直接抓取这些内容。