手机
当前位置:查字典教程网 >编程开发 >ASP教程 >雨哲浅谈关于防采集而不影响收录内容篇
雨哲浅谈关于防采集而不影响收录内容篇
摘要:让站长最头痛的事,除了程序和服务器安全外,可能就要算内容被采集了。当然,现在网络本身就是资源共享,我这里不谈采集的对错,只是就防采集说说个人...

让站长最头痛的事,除了程序和服务器安全外,可能就要算内容被采集了。当然,现在网络本身就是资源共享,我这里不谈采集的对错,只是就防采集说说个人看法。

一、如何分辨搜索爬虫

以前,在网上看到过关于用asp代码来捕捉搜索爬虫的代码,通过代码把爬虫的访问记录记录到文件。就此代码(原作者未知)我作了修改,加入程序中防采集。现做成函数,直接在页面中调用。

复制代码 代码如下:

FunctionCheckSearchRobots(SearchRobotsAgent)

CheckSearchRobots=False

'自定义搜索爬虫,因篇幅关系,这里只是加入国内主要搜索引擎爬虫部分记录

DimSearchRobots:SearchRobots="Baidu@Baidu|Google@Google|crawler@alexa|Yahoo@Yahoo|sohu@Sohu|MSN@MSN|QihooBot@Qihoo"

dimArrSearchRobots,ArrSearchRobots2,SearchRobotsTrue,SearchRobotsName,iSearchRobots

SearchRobotsTrue=False

ArrSearchRobots=split(SearchRobots,chr(124))

ForiSearchRobots=0ToUbound(ArrSearchRobots)

ArrSearchRobots2=split(ArrSearchRobots(iSearchRobots),"@")

IfInstr(lcase(SearchRobotsAgent),lcase(ArrSearchRobots2(0)))>0then

SearchRobotsTrue=true:SearchRobotsName=ArrSearchRobots2(1):exitfor

EndIf

Next

IfSearchRobotsTrueandlen(SearchRobotsName)>0then'如果是爬虫,就更新爬虫信息

CheckSearchRobots=True

EndIf

EndFunction

将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用:IfCheckSearchRobots(SearchRobotsAgent)=FalseThen

Response.Write"非搜索引擎,可作部分限制!"'这里可以加入判断指定时间的刷新次数,比如在正常情况下,访问速度是N次/分,如果超过这个次数(超常规访问)就可以限制了。

EndIf

二、限制超常规访问。

下面说说如何限制别人的超常规访问。下面代码来源于互联网(原作者未能找到)。我作了部分修改和说明。

复制代码 代码如下:

SubCheckAppeal()

DimAppealNum,AppealCount

AppealNum=10'同一IP60秒内请求限制次数

'雨哲[Yz81.Com]站长测试结果一,如果限制为10次,动易采集结果,一分钟能采集成功12篇,失败8篇。

'雨哲[Yz81.Com]站长测试结果二,如果限制为8次,动易采集结果,一分钟能采集成功9篇,失败11篇。

AppealCount=Request.Cookies(AppealCookies)

IfAppealCount=""Then

Response.Cookies(AppealCookies)=1

AppealCount=1

response.cookies(AppealCookies).expires=dateadd("s",60,now())

Else

response.Cookies(AppealCookies)=AppealCount+1

response.cookies(AppealCookies).expires=dateadd("s",60,now())

EndIf

ifint(AppealCount)>int(AppealNum)then

Response.Write"兄弟,爬了这么久,歇会儿吧,别累坏了身体!"

'这里的提示完全可以自定义,我的做法是另外转到一个和当前文章模板完全一致的页面,当然内容是自定义的。

'有兴趣的朋友也可以采集<aclass="channel_keylink"href="http://www.yuzhe.name">雨哲</a>在线的http://www.yz81.com/wanzhuan/频道下面的文章。

Response.end

EndIf

EndSub

将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用:

CallCheckAppeal()

【雨哲浅谈关于防采集而不影响收录内容篇】相关文章:

vbs(asp)下的Function 语句

简单的ASP分页代码(测试正确)第1/2页

小偷,采集程序常用函数

FSO一些代码

收集asp的常用函数

asp中FSO复制文件代码

ASP常用函数:LastDay()

用XML+FSO+JS实现服务器端文件的选择效果

asp获取数据库的连接属性的方法

UBB编辑器

精品推荐
分类导航