上QQ阅读APP看书,第一时间看更新
第4章 使用Item封装数据
在第3章中,我们学习了从页面中提取数据的方法,本章来学习如何封装爬取到的数据。以爬取某图书网站的书籍信息为例,对于网站中的每一本书可以提取出书名、价格、作者、出版社、出版时间等多个信息字段。应该用怎样的数据结构来维护这些零散的信息字段呢?最容易想到是使用Python字典(dict)。
回顾第1章example项目中BooksSpider的代码:
class BooksSpider(scrapy.Spider): ... def parse(self, response): for sel in response.css('article.product_pod'): name = sel.xpath('./h3/a/@title').extract_first() price = sel.css('p.price_color::text').extract_first() yield { 'name': name, 'price': price, } ...
在该案例中,我们便使用了Python字典存储一本书的信息,但字典可能有以下缺点:
(1)无法一目了然地了解数据中包含哪些字段,影响代码可读性。
(2)缺乏对字段名字的检测,容易因程序员的笔误而出错。
(3)不便于携带元数据(传递给其他组件的信息)。
为解决上述问题,在Scrapy中可以使用自定义的Item类封装爬取到的数据。