手机
当前位置:查字典教程网 >脚本专栏 >linuxshell >使用shell脚本找出网站的空页面和404错误页面
使用shell脚本找出网站的空页面和404错误页面
摘要:早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。记得当的情景应该是提...

早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。

记得当的情景应该是提交sitemap时百度老提示有错误的URL,导致sitemap不能正常被抓取,于是在想办法解决这个问题,所以才有下面这些笔记:用shell批量找出网站空页面和404错误页面。

废话不多说,直接上shell代码:

复制代码 代码如下:

time cat sitemap.txt|while read line;do curl -l $line -m 5 --connect-timeout 5 -o /dev/null -s -w "$line "%{http_code}" "%{size_download}"n";done

前面加了一个time是为了看看代码执行所花的时间

%{http_code}意思是返回HTTP状态码,通过这个状态码我们就能知道该链接是正常的200链接,还是404错误链接;

%{size_download}意思是返回当前页面的大小,如果值太小的话,说明这些页面很有可能是低质量的空页面,得想办法剔除掉。

【使用shell脚本找出网站的空页面和404错误页面】相关文章:

Linux中使用Shell脚本查看Java线程的CPU使用情况

使用shell脚本采集系统cpu、内存、磁盘、网络等信息

linux下采用shell脚本实现批量为指定文件夹下图片添加水印的方法

Shell脚本切割tomcat的日志文件

shell脚本从SVN推送到多台服务器的代码

shell脚本实现批量采集爱站关键词库

Shell脚本实现ftok函数

监视磁盘使用情况的Shell脚本(本地+远程)

使用shell脚本分析网站日志统计PV、404、500等数据

Linux Shell脚本系列教程(三):变量和环境变量

精品推荐
分类导航