手机
当前位置:查字典教程网 >编程开发 >asp.net教程 >.net 解决spider多次和重复抓取的方案
.net 解决spider多次和重复抓取的方案
摘要:原因:早期由于搜索引擎蜘蛛的不完善,蜘蛛在爬行动态的url的时候很容易由于网站程序的不合理等原因造成蜘蛛迷路死循环。所以蜘蛛为了避免之前现象...

原因:

早期由于搜索引擎蜘蛛的不完善,蜘蛛在爬行动态的url的时候很容易由于网站程序的不合理等原因造成蜘蛛迷路死循环。

所以蜘蛛为了避免之前现象就不读取动态的url,特别是带?的url

解决方案:

1):配置路由

复制代码 代码如下:

routes.MapRoute("RentofficeList",

"rentofficelist/{AredId}-{PriceId}-{AcreageId}-{SortId}-{SortNum}.html",

new { controller = "Home", action = "RentOfficeList" },

new[] { "Mobile.Controllers" });

第一个参数是路由名称

第二个参数是路由的Url模式,参数之间用{}-{}方式分隔

第三个参数是一个包含默认路由的对象

第四个参数是应用程序的一组命名空间

2):设置连接

<a href="@Url.Action("RentofficeList",new RouteValueDictionary { { "AredId",0},{"PriceId",0},{"AcreageId",0},{"SortId",0},{"SortNum",0}})">默认排序</a>

对照上面的Url模式,依次写入参数赋值

3):获取参数

复制代码 代码如下:

int areaId = GetRouteInt("AredId");//获取参数

/// <summary>

/// 获得路由中的值

/// </summary>

/// <param name="key">键</param>

/// <param name="defaultValue">默认值</param>

/// <returns></returns>

protected int GetRouteInt(string key, int defaultValue)

{

return Convert.ToInt32(RouteData.Values[key], defaultValue);

}

/// <summary>

/// 获得路由中的值

/// </summary>

/// <param name="key">键</param>

/// <returns></returns>

protected int GetRouteInt(string key)

{

return GetRouteInt(key, 0);

}

根据上面3个步骤操作,显示的url地址为:

http://localhost:3841/rentofficelist/3-0-0-0-0.html

这样就可以避免静态页面上使用动态参数,显示的页面都为静态页面

【.net 解决spider多次和重复抓取的方案】相关文章:

asp.net 因为数据库正在使用的解决方法

Asp.net禁用页面缓存的方法总结

asp.net 上传大文件解决方案

asp.net 备份和恢复数据库的方法

asp.net 时间类 一周的周一和周末的日期

在asp.net下实现Option条目中填充前导空格的方法

ASP.NET MVC3 实现全站重定向的简单方法

在ASP.NET中实现多文件上传的方法

ASP.NET DataTable去掉重复行的2种方法

ASP.NET技巧:数据岛出到Excel最为简易的方法

精品推荐
分类导航