您好、欢迎来到139彩票网!全国聊天QQ群:67866775
锟斤拷锟斤拷锟节碉拷位锟斤拷: 福利彩票双色球开奖结果_双色球开奖结果走势图_福彩双色球开奖结果查询 > 开奖查询 > > 锟斤拷锟斤拷

黑帽SEO优化:爬取搜索引擎之众里寻他寻你千百度

锟斤拷锟斤拷锟斤拷福利彩票双色球开奖结果_双色球开奖结果走势图_福彩双色球开奖结果查询 锟斤拷源锟斤拷未知 锟斤拷锟斤拷:admin 时锟斤拷:2018-02-08 16:39

  自从Google退出中国市场,百度就成了国内搜索引擎巨头,所谓树大招风,一直以来百度成为国内众多黑客攻击的对象。又因为其本身作为一款搜索引擎,拥有很多的网络资源,因此借助百度来获取海量数据,成为了一种便捷有效的信息收集途径。

  虽然百度在爬虫算法上没有google那么优秀,但对中文搜索的支持并不会很差(小小吐槽一番百度),然而在通过百度爬取数据时,我们往往会遇到百度自身的反爬虫措施,如何解决这些反爬虫措施,将会是本文的重点。

  关于反爬虫的技术,网上有很多资源,方法不外乎(代理、识别验证码、分布式架构、模拟浏览器、ADSL切换ip等),这些不是本文的重点,本文只针对爬取百度搜索引擎时遇到的反爬虫措施,以及一些解决方案。

  一般来说,单线程的爬虫时间间隔设置为>2s,短时间内应当不会被屏蔽,当然长时间爬取还是不行;如果使多线程无时间间隔爬取,那么大概30分钟肯定就会屏蔽了。

  我曾尝试过添加headers,甚至使用phantomjs模拟浏览器等方式,均以失败告终。我想百度作为一家搜索引擎公司,爬虫技术本就是其核心技术之一,因此跟它玩反爬虫技术应当是以卵击石(类似模拟浏览器,修改headers等方法应该无效)。

  然而我们可以换个思路,百度也不是不允许爬虫访问,只是限制了爬取频率。而对于访问的headers等信息并没有做明显的限制。那么也就是说,百度的反爬虫实际上是控制单ip访问的频率,那么我们就可以通过分布式架构或者切换ip等方式去解决。

  在探讨如何解决被屏蔽问题前,我们先来研究下被百度屏蔽时的现象。一般来说,当百度检测到某ip访问流量特别大时,会先进行源码提示,如果还没停止访问,那么就会直接屏蔽访问。

  基于百度反爬虫的特点,我们可以通过分布式部署爬虫服务器,来采集资源,当然个人觉得ADSL服务器效果会更佳。但是分布式部署,尤其是ADSL服务器部署,成本会变得非常高,而且需要维护。那么有没有只用一台服务器就可以解决被屏蔽的问题呢?

  答案是肯定,那就是单机+多线程+ip代理,这种方式比较实惠,但比较考验ip代理的稳定性。经个人测试,感觉国内绝大部分代理(收费、免费、动态等)都不是很稳定,因此这是一种折中的方式,那么有没有更好的方式呢?

  作为一家搜索引擎公司,百度的爬虫一定是分布式部署;又因为百度在国内的占有率很高,因此其提供搜索服务的服务器也应当是分布式部署的,也就是说全国各地部署了很多百度的服务器。 那么当我们打开浏览器,访问百度时,提供搜索服务的服务器往往是离我们最近的那台,因此可以想见屏蔽我们的也就是那台服务器。大胆想象一下,如果我们能自由切换去访问不同地区的百度服务器,那么是否可以绕过被单一服务器屏蔽的问题呢?

  可喜的是,以上2点都不难办到。网上有百度服务器的资源可以获取,当然也可以通过在不同地区的服务器ping百度获取ip;至于直接通过ip地址访问百度,这默认便是可行的(不知道百度为何这样设置)

  c通过以上几种方式,应该可以绕过百度的反爬虫机制,但是百度也不是吃素的,它也有自己独特的反爬虫杀招,或许称之为”搜索限制”或者是”资源保护”措施更合适一点。

  在几次爬取过程中,我无意发现在headers中加不加cookies会影响最终的搜索结果(主要影响搜索结果的多少)。

  通过获取百度搜索结果源码,以及通过正则匹配,我们能够得到一些搜索结果链接,然后这些链接并不是网站原链接,有以下2种形式:

  我暂且称它为”百度链接”,其基本就是以上2种形式。第一种是通过点击右键复制链接地址获取到的,通常带有eqid参数,用来表示referer;第二种是通过页面源代码获取到的,这种是不带wd与eqid参数的。而eqid参数的值在每次刷新页面后,都会改变,这可能是百度限制黑帽SEO所设置的一个参数。 那么我们比较两者之差异,当我们分别取访问这2条连接时,返回的数据包是不一样的。

  第二种不带参数的会返回一个302跳转,并且在header会有location字段,可以通过requests模块(head模式)去访问获取。

  更多黑帽SEO优化知识请关注黑帽客(),一个专注黑帽SEO优化技术研究与学习教程分享的网站!

  分享最新黑帽SEO优化快速排名技术和学习教程以及最新站群寄生虫蜘蛛池等软件程序并提供黑帽SEO技术性问题解答和灰色词SEO优化排名代做等服务。中福体彩票中福体彩票中福体彩票大彩网大彩网大彩网天齐网天齐网天齐网

锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
锟斤拷品图片锟截诧拷锟狡硷拷
Copyright © 2002-2017 DEDECMS. 织梦科技 版权所有