最近看到一篇文章：「关于爬虫，这里有一份《中国焦虑图鉴》」，对于爬虫分析的很透彻，建议大家看一下。想围观的朋友自己搜索题目就可以找到。

如果你要问我在哪里搜索，我只会让你试着自己找答案。因为在你学习的过程中一定会遇到各种各样奇奇怪怪的问题，难道都要问别人吗？在学校有老师解答你的疑惑，走出学校，我们要试着自己独立解决问题。我经常去的Stack Overflow上面，别人提的问题都是经过自己独立思考，看到提问者对问题的理解，为解决问题尝试过哪些方法，最后还是没有解决才来提问，希望我们也能如此。

不扯别的，我们知道在爬虫中最重要的不是后两步，即解析数据，保存数据，最重要的还是请求数据。

在爬取小规模的网页，数据规模不大，网页没有什么反爬技术的情况下，我们的爬虫还是很好玩的，一旦我们要爬取的网页反爬很强，我们获取的数据量又非常大时，我们很容易就会被封ip，一旦IP被封，爬虫就无法继续下去。

常规的伪造请求头，构造参数已经没有办法解决我们的问题。

在爬虫的世界里，永远都是跟网页的反爬技术做斗争，封了我们的ip，我们还可以伪造ip，今天就带大家获取一些免费的ip。

这里请求的是一个国内免费的ip髙匿代理IP网站：http://www.xicidaili.com/nn/

请求一页就可以了，今天的代码帮助大家随机生成一个该网站上提供的ip地址。

请求网页

classSpider():

'''随机获取一个IP地址'''

def__get_page(self):

'''获取数据，添加请求头'''

url ='http://www.xicidaili.com/nn/'

       headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36'

' (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'

           }

       r = requests.get(url,headers=headers)

ifr.status_code ==200:

print('爬取成功')

returnr.text

由于这个ip代理网站没有什么反爬技术，基本上带个请求头就可以了。

解析网页

这里用了两种方式解析网页

def__parse_page(self,html):

'''这里用了两种方式获取解析IP，返回一个ip列表'''

'''soup = BeautifulSoup(html,'lxml')

       ips = soup.find_all('tr')#先找到节点tr

       ip_list = []

       for i in range(1,len(ips)):

           ip_info = ips[i]

           tds = ip_info.find_all('td')

           ip_list.append(tds[1].text + ':' +tds[2].text)

       return ip_list'''

       data = etree.HTML(html)

items = data.xpath('//tr[@class="odd"]')

       ip_list = []

foriteminitems:

ips = item.xpath('./td[2]/text()')[0]

tds = item.xpath('./td[3]/text()')[0]

ip_list.append(ips +':'+ tds)

returnip_list

这里比较来看，我还是倾向于用xpath，一来简单，再者性能还好，相比较BeautifulSoup来说，性能就没那么好了。

处理数据

接下来是一个随机函数，生成一个随机ip地址：

def__get_random_ip(self,ip_list):

       proxy_list = []

foripinip_list:

#遍历ip列表，添加http://

proxy_list.append('http://'+ ip)

proxy_ip = random.choice(proxy_list)#随机返回一个ip

proxies = {'http':proxy_ip}#构造成字典。

returnproxies

defrun(self):

html =self.__get_page()

ip_list =self.__parse_page(html)

proxy =self.__get_random_ip(ip_list)

       print(proxy)

if__name__=='__main__':

   spider = Spider()

   spider.run()

   程序运行后，控制台输出：

{'http':'http://110.73.8.27:8123'}

程序运行后随机生成一个ip地址，你可以拿去用，当然你也可以导入你需要伪装ip的程序里。

总结

看了开篇提到的那篇文章之后，结合最近看到听到的消息，在想这样一个问题「爬虫犯法吗？」

爬虫犯不犯法，看你抓取的数据是什么内容，就好比百度，谷歌的搜索引擎每天在各个网站上爬到数据，展现给你。当然不犯法。

有位爬虫大佬这样说：

公开可查的就可以爬，这个就没啥事。那些用某些特殊权限的账号登录才可以的那就比较危险。还有必须破解才能爬的就构成犯罪了，另外，都建议使用代理ip，一个反爬，一个隐藏真实ip。

所以对于我们小白来说完全没有问题，只要不触碰一些敏感未公开的数据就没事。

公众号sixkery，专注于python爬虫。有任何学习上的问题都可以后台联系我哦