蜘蛛抓取是好事，但是一些无用的蜘蛛天天来“扫”你的网站、甚至是一些根本不存在的网页或者目录、文件，平白给网站增加负担、带来安全隐患，所以干脆写个免扰“通知”，告诉它们是不受欢迎的访客，不欢迎访问。
如下：
User-agent: Abonti
Disallow: /
User-agent: ADmantX
Disallow: /
本文禁止住转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ）。时光在路上保留所有权利
User-agent: AhrefsBot
Disallow: /
本文禁止住转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ）。时光在路上保留所有权利
User-agent: BacklinkCrawler
Disallow: /
本文禁止全文转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ） Copyright © 2023. All Rights Reserved
User-agent: BPImageWalker
Disallow: /
本文禁止无授权转载 - 时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ 保留所有权利
User-agent: check_http
Disallow: /
User-agent: checks.panopta.com
Disallow: /
User-agent: curl
本文禁止全文转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ） Copyright © 2023. All Rights Reserved
Disallow: /
User-agent: DLE_Spider.exe
Disallow: /
本文禁止全文转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ） Copyright © 2023. All Rights Reserved
User-agent: dotbot
本文禁止全文转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ） Copyright © 2023. All Rights Reserved
Disallow: /
User-agent: EMail Exractor
Disallow: /
User-agent: Exabot
Disallow: /
本文禁止全文转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ） Copyright © 2023. All Rights Reserved
User-agent: Ezooms
本文禁止全文转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ） Copyright © 2023. All Rights Reserved
Disallow: /
User-agent: GbPlugin
Disallow: /
User-agent: gooblog
Disallow: /
User-agent: gsa-crawler
Disallow: /
本文禁止全文转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ） Copyright © 2023. All Rights Reserved
本文禁止全文转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ） Copyright © 2023. All Rights Reserved
User-agent: HolmesBot
Disallow: /
User-agent: ichiro
Disallow: /
User-agent: Infoseek SideWinder
Disallow: /
本文禁止全文转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ） Copyright © 2023. All Rights Reserved
本文禁止全文转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ） Copyright © 2023. All Rights Reserved
User-agent: Infoseek SideWinder/2.0B (Linux 2.4 i686)
Disallow: /
User-agent: ip-web-crawler.com
Disallow: /
本文禁止全文转载。任何形式转载请联系作者（时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ） Copyright © 2023. All Rights Reserved
User-agent: Jakarta Commons-HttpClient
Disallow: /
User-agent: Java
本文禁止无授权转载 - 时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ 保留所有权利
Disallow: /
User-agent: JikeSpider
Disallow: /
本文禁止无授权转载 - 时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ 保留所有权利
User-agent: libwww-perl
Disallow: /
User-agent: linkdex.com
Disallow: /
本文禁止无授权转载 - 时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ 保留所有权利
User-agent: Mail.RU_Bot
Disallow: /User-agent: MJ12bot
Disallow: /
User-agent: MLBot
Disallow: /
User-agent: moget
Disallow: /
User-agent: NaverBot
Disallow: /
User-agent: PEAR HTTP_Request class
Disallow: /
User-agent: PHP
Disallow: /
本文禁止无授权转载 - 时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ 保留所有权利
User-agent: Pixray-Seeker
Disallow: /
User-agent: PycURL
Disallow: /
User-agent: python-requests
Disallow: /
User-agent: Python-urllib
Disallow: /
User-agent: rmnbot
Disallow: /
User-agent: Ruby
Disallow: /
User-agent: Screaming Frog SEO Spider
Disallow: /
本文禁止无授权转载 - 时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ 保留所有权利
User-agent: SemrushBot
Disallow: /
User-agent: SEOENGWorldBot
Disallow: /
User-agent: SeznamBot
Disallow: /
User-agent: sitebot
Disallow: /
User-agent: Squider
Disallow: /
User-agent: ssearch_bot
Disallow: /
User-agent: suchmaschinenoptimierung.de
本文禁止无授权转载 - 时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ 保留所有权利
Disallow: /
User-agent: Synapse
Disallow: /
User-agent: Wget
Disallow: /
User-agent: woopingbot
Disallow: /
User-agent: Wotbox
Disallow: /
User-agent: Xenu Link Sleuth
Disallow: /
User-agent: Yandex
Disallow: /
本文禁止无授权转载 - 时光在路上 ｗｗｗ．ｔｉｍｅｚｌｓ．ｃｏｍ 保留所有权利
User-agent: Yeti
Disallow: /
User-agent: seoprofiler
Disallow: /
User-agent: *
Crawl-delay: 15
