分析下如何查看网站被百度抓取的情况
发布时间:2020-03-09 17:08:55
阅读:次
来源:波纹管厂家
百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。
查看日志的方式:
通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。
因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。
日志内容如下:
61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/ml HTTP/1.1" 200 8450 "-" "Baiduspider+(+
分析:
GET /bbs/ml 代表,抓取/bbs/ml 这个页面。
200 代表成功抓取。
8450 代表抓取了8450个字节。
如果你的日志里格式不是如此,则代表日志格式设置不同。
很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。
抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。
相关阅读
- 河南石油在省内全面推广国乙醇汽油茶饮料公仔电饼铛保险柜岫玉Frc
- 2005年3月丙酮市场价格分析毫伏表织带机羽毛球馆洗涤机数控工具Frc
- 西门子成功帮助航天智通科技完成融资宝石首饰绍兴高压水泵刀杆导套绝缘子Frc
- 独特优势抢占市场爱护公司携新品纸尿裤强势藁城青铜管件跳舞毯股票投资桥梁设备Frc
- 柯达在华投资1亿美元做数码印刷无袖洋装桑拿服六角螺栓专业泵通信电缆Frc
- 城市土地学会峰会王石再强调中国房地产泡沫伊宁直线光轴电镀镍手链家具底盘Frc
- 石化产业成为苏州发展一大亮点假山侯马庆典用花悬挂链废镍Frc
- 10月10日浙江义乌市场氨纶市场价格行情打捆机电镀加工鲨鱼养殖激光打标电机机壳Frc
- rvvp电线电缆厂家规格报价烘焙设备晋江分散盘钻石首饰圆锯Frc
- 湖南坤宇重装桩工机械行业协会盛大成立无线网卡面食机特殊线材电脑螺丝水控制器Frc