雨哲浅谈关于防采集而不影响收录内容篇

所属分类: 网络编程 / ASP编程 阅读数: 1363
收藏 0 赞 0 分享
让站长最头痛的事,除了程序和服务器安全外,可能就要算内容被采集了。当然,现在网络本身就是资源共享,我这里不谈采集的对错,只是就防采集说说个人看法。  


一、如何分辨搜索爬虫 
        以前,在网上看到过关于用asp代码来捕捉搜索爬虫的代码,通过代码把爬虫的访问记录记录到文件。就此代码(原作者未知)我作了修改,加入程序中防采集。现做成函数,直接在页面中调用。
复制代码 代码如下:

 Function CheckSearchRobots(SearchRobotsAgent) 
 CheckSearchRobots = False 
 '自定义搜索爬虫,因篇幅关系,这里只是加入国内主要搜索引擎爬虫部分记录 
        Dim SearchRobots:SearchRobots="Baidu@Baidu|Google@Google|crawler@alexa|Yahoo@Yahoo|sohu@Sohu|MSN@MSN|QihooBot@Qihoo" 
        dim ArrSearchRobots,ArrSearchRobots2,SearchRobotsTrue,SearchRobotsName,iSearchRobots 
        SearchRobotsTrue = False 
        ArrSearchRobots = split(SearchRobots,chr(124)) 
        For iSearchRobots = 0 To Ubound(ArrSearchRobots) 
                ArrSearchRobots2 = split(ArrSearchRobots(iSearchRobots),"@") 
                If Instr(lcase(SearchRobotsAgent),lcase(ArrSearchRobots2(0))) > 0 then 
                        SearchRobotsTrue=true:SearchRobotsName=ArrSearchRobots2(1):exit for 
                End If 
        Next 
        If SearchRobotsTrue and len(SearchRobotsName)>0 then'如果是爬虫,就更新爬虫信息 
   CheckSearchRobots = True 
        End If 
End Function 

将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用: If CheckSearchRobots(SearchRobotsAgent) = False Then
        Response.Write "非搜索引擎,可作部分限制!"      '这里可以加入判断指定时间的刷新次数,比如在正常情况下,访问速度是N次/分,如果超过这个次数(超常规访问)就可以限制了。 
End If
二、限制超常规访问。 
下面说说如何限制别人的超常规访问。下面代码来源于互联网(原作者未能找到)。我作了部分修改和说明。 
复制代码 代码如下:

Sub CheckAppeal()
 Dim AppealNum,AppealCount
 AppealNum=10 '同一IP60秒内请求限制次数
 '雨哲[Yz81.Com]站长测试结果一,如果限制为10次,动易采集结果,一分钟能采集成功12篇,失败8篇。
 '雨哲[Yz81.Com]站长测试结果二,如果限制为8次,动易采集结果,一分钟能采集成功9篇,失败11篇。
 AppealCount=Request.Cookies(AppealCookies) 
 If AppealCount="" Then
  Response.Cookies(AppealCookies)=1
  AppealCount=1
  response.cookies(AppealCookies).expires=dateadd("s",60,now())
 Else
  response.Cookies(AppealCookies)=AppealCount+1
  response.cookies(AppealCookies).expires=dateadd("s",60,now())
 End If
 if int(AppealCount)>int(AppealNum) then
  Response.Write "兄弟,爬了这么久,歇会儿吧,别累坏了身体!"
  '这里的提示完全可以自定义,我的做法是另外转到一个和当前文章模板完全一致的页面,当然内容是自定义的。
  '有兴趣的朋友也可以采集<a class="channel_keylink" href="http://www.yuzhe.name">雨哲</a>在线的http://www.yz81.com/wanzhuan/频道下面的文章。
  Response.end
 End If
End Sub

将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用: 
Call CheckAppeal() 
更多精彩内容其他人还在看

asp知识整理笔记4(问答模式)

这是关于asp知识整理的最后一份笔记,希望大家仔细阅读。
收藏 0 赞 0 分享

ASP基础知识VBScript基本元素讲解

这篇文章主要介绍了ASP基础知识VBScript基本元素的相关资料,需要的朋友可以参考下
收藏 0 赞 0 分享

ASP编码和解码函数详解

这篇文章主要介绍了ASP编码和解码函数的相关资料,需要的朋友可以参考下
收藏 0 赞 0 分享

ASP显示页面执行时间的方法

这篇文章主要介绍了ASP显示页面执行时间的方法,在本地测试一下输出页面需要多少时间,需要的朋友可以参考下
收藏 0 赞 0 分享

ASP基础入门第一篇(ASP技术简介)

本文将以 Active Server Pages 为中心,向你全面展示制作动态商业网站的步骤和技巧并通过大量的实例,让你在不断的理论和实践之中笑傲“网络”……
收藏 0 赞 0 分享

ASP基础入门第二篇(ASP基础知识)

这篇文章是ASP基础入门第二篇,第一篇展示了ASP动态网站设计的一些最基本的方法,相信通过实践各位对 ASP 已经有了最基本的了解,本文将进一步介绍ASP动态网站的一些基本技巧,需要的朋友可以参考下
收藏 0 赞 0 分享

ASP基础入门第三篇(ASP脚本基础)

通过前两篇的学习,相信各位已经对 ASP 的动态网站设计有了一个基本的概念和整体的印象。从本篇开始作者将从脚本语言的使用着手,由浅入深地带领大家探索 ASP 动态网站设计的真正奥秘。
收藏 0 赞 0 分享

ASP基础入门第四篇(脚本变量、函数、过程和条件语句)

大家在学习了脚本语言 VBScript 的变量、常量和过程的基本概念后,本期将继续向各位介绍 VBScript 的函数和语法。
收藏 0 赞 0 分享

ASP基础入门第五篇(ASP脚本循环语句)

在本文上两篇中,我们学习了脚本语言 VBScript 的变量、函数、过程和条件语句,本篇将继续给大家介绍 VBScipt 的循环语句,并对脚本语言在 ASP 中的应用加以总结。  
收藏 0 赞 0 分享

ASP基础入门第六篇(ASP内建对象Request)

从本篇开始作者从 ASP 内建对象着手,为大家详细剖析 ASP 的六个内建对象和各种组件的特性和方法,需要的朋友可以参考下
收藏 0 赞 0 分享
查看更多