文钊飞,文钊飞讲师,文钊飞联系方式,文钊飞培训师-【中华讲师网】
文钊飞 2019年度中国200强讲师
内容电商产业推动者,新零售研究实践者。
52
鲜花排名
0
鲜花数量
扫一扫加我微信
文钊飞:如何让Baiduspider迅速抓取网站
2016-01-20 88954

百度推出了很多自己的产品,仔细想想,他自己也是利用这些产品数据来更好的解决搜索服务的,百度统计,百度收藏,博客等,
下面说下如何用百度收藏来解决网站的收录问题

一个网站有很多的页面,有些页面Baiduspider可能抓取不到,这个时候怎么办呢?让这个url出现在网络上(免费发外链论坛),尽可能快得呗蜘蛛发现
如何去做?

我们可以申请一批百度账号,然后把这些页面url添加到每个账号下的百度收藏里面(如果是大量页面,百万级别的,可以开发工具来做,期待有人解决,呵呵)
用一批百度账号做收藏,是为了增加爬虫发现的几率和到达网站的几率,用百度的收藏夹,是为了解决百度爬虫的发现页面的速度和时间
做百度收藏的测试结果如下:看日志
220.181.51.210 - - [02/Sep/2011:10:03:02 -0400] "GET / HTTP/1.1" 200 83160 "-" "Baiduspider-favo+(+https://www.baidu.com/search/spider.htm)"
61.135.190.72 - - [02/Sep/2011:10:03:02 -0400] "GET / HTTP/1.1" 200 83160 "-" "Baiduspider-favo+(+https://www.baidu.com/search/spider.htm)"

ps:百度搜藏 的蜘蛛为 Baiduspider-favo

我们可以吧这个测试拓展,通过百度收藏添加更多的url,那么蜘蛛获得你网站的url的几率和数量是不是很加大很多的,增加了页面在spider的曝光率,那么收录也有可能呗解决。以上思路仅供参考,欢迎提出新方法!


全部评论 (0)

Copyright©2008-2024 版权所有 浙ICP备06026258号-1 浙公网安备 33010802003509号 杭州讲师网络科技有限公司
讲师网 www.jiangshi.org 直接对接10000多名优秀讲师-省时省力省钱
讲师网常年法律顾问:浙江麦迪律师事务所 梁俊景律师 李小平律师