全球主机交流论坛

标题: dz论坛屏蔽了百度，貌似现在出现了很多采集DZ论坛的网站 [打印本页]

作者: wjhhxl 时间: 2011-4-22 13:12
标题: dz论坛屏蔽了百度，貌似现在出现了很多采集DZ论坛的网站
从4月9号，DZ论坛开始屏蔽百度了。

作者: wdlth 时间: 2011-4-22 13:15
#
# robots.txt for Discuz! X2
#

User-agent: *
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /userapp.php?mod=app&*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*

作者: wjhhxl 时间: 2011-4-22 13:16
从那里看不出来。但是你看百度快照，还是停在4月9号
而且新贴，也都没收录。

作者: 有个就好 时间: 2011-4-22 13:16
它舍得屏蔽吗？

作者: bojjn 时间: 2011-4-22 13:19
没啥舍不得，俺老早就屏蔽了BD，然后是SS...目前比较文明点的就是GG....考虑把SG也屏蔽掉

作者: 大鲨鱼 时间: 2011-4-22 13:22
都屏蔽了就好了

作者: daigouadmin 时间: 2011-4-22 13:23
sogou必须得屏蔽的

作者: hksf 时间: 2011-4-22 13:34
如何采集DZ论坛?

作者: mslxd 时间: 2011-4-22 13:44
如何踩？用脚踩呗，，，呵呵

找几个脚本踩呗

作者: 95147 时间: 2011-4-22 13:46

原帖由 wjhhxl 于 2011-4-22 13:16 发表
从那里看不出来。但是你看百度快照，还是停在4月9号
而且新贴，也都没收录。

难说是百度屏蔽DZ

作者: xspoco 时间: 2011-4-22 14:10
采采更健康

作者: xiusha 时间: 2011-4-22 14:39
怎样屏蔽sougou？

作者: 害怕被狗咬 时间: 2011-4-22 15:11

原帖由 wjhhxl 于 2011-4-22 13:16 发表
从那里看不出来。但是你看百度快照，还是停在4月9号
而且新贴，也都没收录。

快照停在4.9的站多了去了。

欢迎光临全球主机交流论坛 (https://hostloc.9hanju.com/)