全球主机交流论坛

标题: 要命的事啊 [打印本页]

作者: lovees 时间: 2018-11-19 10:19
标题: 要命的事啊
搞了个爬虫站，然后忘记关闭了，结果一个月在服务器给我爬了600G的数据下来，真要命，文件太多了 rm -rf 了接近6小时了.

作者: 东坡小浪 时间: 2018-11-19 10:21
提示: 作者被禁止或删除内容自动屏蔽

作者: miniliuke 时间: 2018-11-19 10:21
这是来秀硬盘的吗？

作者: itkylin 时间: 2018-11-19 10:23
忘记一个月，你是来秀机器多的吗，另求带写爬虫。

作者: ojoehao 时间: 2018-11-19 10:25
一个月600g 爬的啥这么少

作者: kizer2009 时间: 2018-11-19 10:26
600g的大姐姐吗

作者: lovees 时间: 2018-11-19 10:29

ojoehao 发表于 2018-11-19 10:25
一个月600g 爬的啥这么少

纯文本自动生成源码，每个文件大概1.5K大小，然后有600多G了，删除时候N个子文件夹N个文件，已经快疯了

作者: miniliuke 时间: 2018-11-19 10:32

itkylin 发表于 2018-11-19 10:23
忘记一个月，你是来秀机器多的吗，另求带写爬虫。

我可以代写爬虫...................................

作者: 南思 时间: 2018-11-19 10:40
提示: 作者被禁止或删除内容自动屏蔽

作者: shiro 时间: 2018-11-19 10:41
用rsync删超大或者超多文件

作者: ecosway598 时间: 2018-11-19 11:12
提示: 作者被禁止或删除内容自动屏蔽

作者: aiseo 时间: 2018-11-19 11:14
我一天就能爬几T。。。怎么活？

作者: 静候轮回 时间: 2018-11-19 13:38
莫名喜感心疼楼主一秒

作者: miniliuke 时间: 2018-11-19 16:55

ecosway598 发表于 2018-11-19 11:12
py文章爬虫入库wp数据库能写吗？

可以.......PY、C、GO、JAVA都行(PHP不行).......

作者: liuxu 时间: 2018-11-19 16:55
一个月才600G，下载的有点慢

作者: bax 时间: 2018-11-19 16:58
论花样修鸡的新方式

欢迎光临全球主机交流论坛 (https://hostloc.9hanju.com/)