V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Hello1995
V2EX  ›  Apache

屏蔽 360 蜘蛛的方法

  •  
  •   Hello1995 · 2015-05-09 11:41:16 +08:00 · 3072 次点击
    这是一个创建于 3521 天前的主题,其中的信息可能已经有所发展或是发生改变。
    虽然有人希望网站被更多的搜索引擎收录,但世上也是存在那种不希望被某些搜索引擎收录的人,比如我。
      我前几天才发现 360 蜘蛛几乎时时刻刻都在我的小博客上爬,但我不喜欢它(小博客就是任性),所以要想要屏蔽它。参考网上的方法,再自己思考,写了这么一篇小小的博文,但是不知道其中有没有什么错误或者需要修改的地方,希望各位 V 友帮忙指正。

    - 方法一:robots.txt (可能有些蜘蛛不遵守)
    - 方法二:屏蔽 IP。
    - 方法三:屏蔽 UA。

    地址: https://www.hello1995.com/archives/forbidden_360spider.html
    1 条回复    2015-05-11 10:46:31 +08:00
    Hello1995
        1
    Hello1995  
    OP
       2015-05-11 10:46:31 +08:00
    方法三可能还是存在一点问题,我发现最近的 log 中还是出现了 2 次的 360 蜘蛛,虽然比起之前时时刻刻爬来说已经少了很多了,但不知道为什么屏蔽 UA 了还会有一两次 360 蜘蛛。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2587 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 05:32 · PVG 13:32 · LAX 21:32 · JFK 00:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.