前言
依旧是先唠嗑两句,过气博主又来找存在感了。
回顾一下往昔,过去我们讲了爬虫的简单操作,并封装了一个简单的,获取网页源数据的函数,还挺好用吧。
Python爬虫自学系列一
今天我们来从获取到的网页数据中抓取我们想要的数据。
(注:这一篇里面很多东西都已经是讲过的了,所以本篇基本上是链接了,也不会很长的)
XPath 是一种将 XML 文档的层次结构描述为关系的方式。因为 HTML 是 由 XML 元素组成的,因此我们可以使用 XPath 从 HTML 文档中定位和选择元素。
如果你想了解更多 XPath 相关的知识,可以点击这边上面的蓝字。
至于beautifulsoup就不提啦。
别问我为什么不提,看下去就知道啦。
性能对比
你悟到了吗?
好,知识点都讲完了,比较中要的还是项目实战中的代码封装。
项目实战也有,
爬取2021年腾讯校招
先看一下大概,然后回来我们捡一些功能出来封装一下函数。
从网页中获取数据
这个函数呢,直接将数据一波取走了,不过这个Xpath的使用呐,也不是那么容易的哦。
def get_data ( html_data, Xpath_path) :
'''
这是一个从网页源数据中抓取所需数据的函数
:param html_data:网页源数据 (单条数据)
:param Xpath_path: Xpath寻址方法
:return: 存储结果的列表
'''
data = html_data. content
data = data. decode( ) . replace( "<!--" , "" ) . replace( "-->" , "" )
tree = etree. HTML( data)
el_list = tree. xpath( Xpath_path)
return el_list
上面那个是一次性的,那可持续发展的呢?就比方说一个网页你要抓大于一个种类的数据,也就是说有多套的Xpath,那怎么办?
我这儿有两种方法啊:
1.将element对象用于中转,函数一分为二,看:
可持续发展方法一:
第一步,获取网址中的element对象并返回
def get_element ( html_data) :
data = html_data. content
data = data. decode( ) . replace( "<!--" , "" ) . replace( "-->" , "" )
tree = etree. HTML( data)
return tree
第二步,从element对象中取值
def parser_element_data ( Tree, Xpath) :
el_list = Tree. xpath( Xpath)
return el_list
这方法啊,土了点,真要用起来啊,也不是很美观,冗余。
还是看方法二吧。
可持续发展方法二:
这个方法呢,就将所有Xpath作为一个列表传入,然后通过循环来取数据。
def get_data_2 ( html_data, Xpath_path_list) :
'''
通过多个Xpath对数据进行提取
:param html_data: 原始网页数据
:param Xpath_paths: Xpath寻址列表
:return: 二维列表,一种寻址数据一个列表
'''
el_data = [ ]
data = html_data. content
data = data. decode( ) . replace( "<!--" , "" ) . replace( "-->" , "" )
tree = etree. HTML( data)
for Xpath_path in Xpath_path_list:
el_list = tree. xpath( Xpath_path)
el_data. append( el_list)
el_list = [ ]
return el_data
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
练习
这篇相对比较短,但是内容却不短。
有心的朋友可以找个网站练一下Xpath,比方说招聘网。