如何查看百度蜘蛛是否来过我的网站,尤其对于长期不收录,百度快照不更新的新站来说,查看百度蜘蛛是否来过我的网站就很重要了,如果蜘蛛没有来,那就不要谈收录了,解决的办法就是尽快引开蜘蛛了,如果蜘蛛爬过了,要检查下网站是否存在一些百度不收录的原因,比如过度优化。以上都没有,就要等了,等百度大更新时,收录自然就有了!那么如何查看百度蜘蛛是否来过我的网站呢?
首先要查看服务器IIS日志,具体操作方法:记事本打开IIS日志内容,然后用ctrl+F查找baidu, 如果发现有Baiduspider 就说明百度蜘蛛爬行过,反之则没有。
百度蜘蛛活跃时间一般是晚上凌晨。
比如说:
[22/Apr/2010:06:30:56 -0700] "GET / HTTP/1.1" 200 10219 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
66.249.68.229
2008-06-19 00:25:03 W3SVC818374 222.214.218.36 GET /Server.aspx- 80 - 221.10.254.26 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 21089
如果你的网址是www.510379.com这就意味着百度蜘蛛在2010年-04-22 06:30:56 爬过,200 0 0 21089中的200协议代码代表了请求已完成也就是它发现这页并以入库了。
22/Apr/2010:06:30:56 -0700是日期,也就是蜘蛛来的日期和时间了。
GET /robots.txt 访问的页面 get表示获取
200表示抓取成功。有时会出现其他代码如:404 - 请求的网页不存在;503 - 服务器暂时不可用
Baiduspider+(+http://www.baidu.com/search/spider.htm)是百度蜘蛛了
66.249.68.229是蜘蛛的ip地址
以下是百度蜘蛛爬行检测代码意思:
2xx 成功
200 正常;请求已完成。
201 正常;紧接 POST 命令。
202 正常;已接受用于处理,但处理尚未完成。
203 正常;部分信息 — 返回的信息只是一部分。
204 正常;无响应 — 已接收请求,但不存在要回送的信息。
3xx 重定向
301 已移动 — 请求的数据具有新的位置且更改是永久的。
302 已找到 — 请求的数据临时具有不同 URI。
303 请参阅其它 — 可在另一 URI 下找到对请求的响应,且应使用 GET 方法检索此响应。
304 未修改 — 未按预期修改文档。
305 使用代理 — 必须通过位置字段中提供的代理来访问请求的资源。
306 未使用 — 不再使用;保留此代码以便将来使用。
4xx 客户机中出现的错误
400 错误请求 — 请求中有语法问题,或不能满足请求。
401 未授权 — 未授权客户机访问数据。
402 需要付款 — 表示计费系统已有效。
403 禁止 — 即使有授权也不需要访问。
404 找不到 — 服务器找不到给定的资源;文档不存在。
407 代理认证请求 — 客户机首先必须使用代理认证自身。
410 请求的网页不存在(永久);
415 介质类型不受支持 — 服务器拒绝服务请求,因为不支持请求实体的格式。
5xx 服务器中出现的错误
500 内部错误 — 因为意外情况,服务器不能完成请求。
501 未执行 — 服务器不支持请求的工具。
502 错误网关 — 服务器接收到来自上游服务器的无效响应。
503 无法获得服务 — 由于临时过载或维护,服务器无法处理请求。
根据这些可以多查看iis日志,研究蜘蛛爬行的路径,找出自己网站存在的问题,进而改正。相信好的网站会有好的排名。
分享到:
相关推荐
揭秘百度蜘蛛的七大特性!想要做好百度优化就必须先养好百度蜘蛛!那么如何饲养百度蜘蛛呢?下面了解百度蜘蛛七大特性。
seo 百度蜘蛛爬行规则
百度强引蜘蛛程序易语言
智者百度蜘蛛王(链接批量推送)是一款百度链接推送软件,通过百度蜘蛛王(链接批量推送)您可以将大量的链接推送给百度蜘蛛进行抓取,目前软件支持主动推送和自动推送两种。 1、主动推送:通过百度token进行批量推送...
研究se爬行规律对于网站优化意义重大,特别是对百度蜘蛛Baiduspider的研究。本文解释一下百度蜘蛛爬行后返回代码代表的具体含义:
模仿百度蜘蛛工作原理
百度蜘蛛喜欢怎样的网站结构,在这里可以告诉你百度蜘蛛喜欢什么样的网站结构。
勾引蜘蛛, 让蜘蛛为我所用快速更新网站内容和快照,有很多网站在发布后, 百度谷歌的更新速度很慢, 很多内容页几天,半月甚至一个多月没有收录, 如何让百度, google的蜘蛛能够频繁光临和更新网站度? 一、如何让...
P9.GG引百度蜘蛛工具是一个专业引百度蜘蛛的工具,可以马上用马上来百度蜘蛛,不过收录不收录你网站还是要看你的内容是不是原创,这个工具改变不了这点。 要注意的是本软件是用易语言做的对360误报是会有的,大家...
百度蜘蛛爬行跟踪统计系统 v1.0后台用户名密码admin
百度蜘蛛记录工具 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┫ ┃【使用前请您先阅读以下条款,否则请勿使用本站提供的文件!】 ┃ ┃ 1) 推荐使用:WinRAR V3.4以上版本解压本站软件 ┃ ┃ ...
市面售价500-2000不等的百度强引蜘蛛程序程序快来下载吧很棒棒的,不在呗更韭菜的强引蜘蛛日引百万百度指数。
百度SEO蜘蛛精外链工具 【2020-02-26新增{数字}{字母}标签,可以推送泛域名】 1:永久免费,没有死链 2:支持批量刷网址 3:无弹窗无广告 【注:】不带http://效果更佳哦。 软件基于.NET4.0平台开发,如果软件无法...
精仿百度源代码精仿百度源代码精仿百度源代码精仿百度源代码精仿百度源代码精仿百度源代码精仿百度源代码精仿百度源代码精仿百度源代码精仿百度源代码精仿百度源代码精仿百度源代码精仿百度源代码精仿百度源代码精仿...
功能:记录蜘蛛爬行轨迹,一个星期内的按爬行时间完全记录,一个星期以前的记录时间(没有删除记录的功能,需要删除的请直接在数据库里面删除即可!). 利用main.asp可以直接一眼看出哪个页面被爬行的最多,利用robots.asp...
百度蜘蛛爬行跟踪统计系统 v1.0,下载后上传至网站根目录或子目录均可使用,后台用户名密码admin,以图为登陆界面。
百度谷歌蜘蛛访问记录源码
掌握四大招 百度蜘蛛爱上你的网站.docx
destoon7.0 蜘蛛访问统计插件,可统计百度蜘蛛搜狗蜘蛛360蜘蛛谷歌蜘蛛数量,支持近一周曲线显示,支持直接打印