全球主机交流论坛

标题: 什么时候整治下垃圾爬虫 [打印本页]

作者: phpsky 时间: 2021-6-19 15:08
标题: 什么时候整治下垃圾爬虫
昨天刚注册的域名，就放了一个静态首页，日志已经爬了好几M了，基本上都是嗅探的

作者: G.K.D 时间: 2021-6-19 15:09
谁去整治？这归谁管？谁又能管呢。。。

作者: Mio 时间: 2021-6-19 15:13
nginx设置下只允许指定的爬虫

作者: 白嫖怪 时间: 2021-6-19 15:36
提示: 作者被禁止或删除内容自动屏蔽

作者: DemonSky 时间: 2021-6-19 16:22
爬虫就像害虫一样,没办法

作者: Reverie 时间: 2021-6-19 22:24

套CF，国外只允许合法爬虫，完事

作者: 战神赵日天 时间: 2021-6-19 22:26
多点爬虫，增加收录也不错

作者: baby不卑鄙 时间: 2021-6-19 22:38
又不影响啥

欢迎光临全球主机交流论坛 (https://hostloc.9hanju.com/)