爬虫代理服务器(用Python爬网页需要了解什么背景知识)

爬虫其实就是一个数据获取的过程，无非就是两步，请求页面，解析数据，下面我大概介绍一下入门爬虫所需要掌握的基本知识：

1.要具有一定的前端知识，最起码应该能大概看懂网页内容，像基本的html元素，css样式，javascript等，不要求熟练掌握，这些是最基础的东西，数据都在网页里面嵌套着，要是连基本的网页都不会，如何解析数据呢？所以花个一两天时间了解一下网页知识：

2.要会进行抓包分析，会使用浏览器自带的开发者工具。网页中有些数据是动态加载的，只在请求网页时才加载数据，在网页源码中是不显示的，所以你需要会进行抓包分析，解析json数据等。我们经常模拟登录时，也需要进行抓包分析，需要post提交哪些内容等，只有在抓包分析后，才能构建相关提交数据：

3.防止被禁掉。短时间内频繁的访问服务器，很有可能会被服务器识别为爬虫，禁掉IP，这个时候你就需要使用IP代理池等，尽可能不被服务器发现。

4.存储数据。爬取下来的数据，我们需要进行存储，如果数据量大的话，这个时候你就需要了解一些常用的数据库的使用，像mysql，mongodb等，方便查询也方便管理：

5.最后就是学一些爬虫常用的框架，可以明显提高开发效率，避免重复造轮子，像python的开源爬虫框架scrapy等，使用起来也更快捷：

我要说的就是这几点，只要你认真的学习一下，查找查找相关资料和教程，一定会有大的收获，希望以上分享的内容能对你有所帮助吧。

谷歌一开始的爬虫是用Python写的。现在C++用起来比较方便。

谷歌创始人的论文《The Anatomy of a Large-Scale Hypertextual Web Search Engine》：抓取Web为了扩展到数以亿计的网页，Google拥有一个快速的分布式抓取系统。单一的URL服务器提供了一些网络爬虫（我们通常运行大约3）的URL列表。 URLserver和抓取工具都是用Python实现的。每个爬虫一次保持大约300个连接。这对于以足够快的速度检索网页是必要的。在最高速度下，系统可以使用四个爬虫每秒抓取超过100个网页。这相当于每秒大约600K的数据。主要的性能压力是DNS查找。每个爬虫都维护一个自己的DNS缓存，因此在爬取每个文档之前不需要执行DNS查找。数百个连接中的每一个可以处于多种不同的状态：查找DNS，连接到主机，发送请求和接收响应。这些因素使得爬虫成为系统的一个复杂组成部分。它使用异步IO来管理事件，以及将页面提取从一个状态移动到另一个状态的多个队列。关注：蛋壳智能工坊（原文链接：http://infolab.stanford.edu/pub/papers/google.pdf）

方法一

可以利用selenium控制浏览器实现抢购，用此库模拟用户从打开浏览器到加入购物车提交订单付款的过程即可实现抢购优点是简单方便，缺点是速度慢和受网速影响较大

方法二

可以用Requests库，模拟提交浏览器到服务器的数据，浏览器在开发者模式界面可以看到每一次请求的具体信息，把这些信息通过此库发送到服务器也可实现抢购，优点是速度快，缺点是复杂，容易被识别反爬虫。

网络爬虫可以分为分布式爬虫、JAVA爬虫以及非JAVA爬虫如scrapy。分布式爬虫就是将多台主机组合起来，共同完成一个爬取任务。很多人会使用分布式爬虫因为这将大大提高爬取的效率。下面我们来看看这类爬虫有什么特点。

什么是分布式爬虫？用大白话来说就是：我部署了多个爬虫模块，这几个模块可以一起来爬虫。从上面架构图的分析，只需要将Scheduler模块基于redis实现，那么所有的模块的spider只需要从redis获取URL，然后爬到新的子URL时也放入redis中，此时我们的架构已经是支持分布式爬虫了。

现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：

1、Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。

2、Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取(精抽取)的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的，对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。

3、用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，而且调试过程中会出现除程序本身之外的各种问题。

所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。爬虫需要使用代理IP，能够有效的防止IP被禁止访问的情况。神龙HTTP代理独享IP池，适合各类爬虫项目。

B站崩了是服务器出现了问题