精通Scrapy网络爬虫
上QQ阅读APP看书,第一时间看更新

第4章 使用Item封装数据

在第3章中,我们学习了从页面中提取数据的方法,本章来学习如何封装爬取到的数据。以爬取某图书网站的书籍信息为例,对于网站中的每一本书可以提取出书名、价格、作者、出版社、出版时间等多个信息字段。应该用怎样的数据结构来维护这些零散的信息字段呢?最容易想到是使用Python字典(dict)。

回顾第1章example项目中BooksSpider的代码:

        class BooksSpider(scrapy.Spider):
          ...
          def parse(self, response):
              for sel in response.css('article.product_pod'):
                name = sel.xpath('./h3/a/@title').extract_first()
                price = sel.css('p.price_color::text').extract_first()
                yield {
                    'name': name,
                    'price': price,
                }
          ...

在该案例中,我们便使用了Python字典存储一本书的信息,但字典可能有以下缺点:

(1)无法一目了然地了解数据中包含哪些字段,影响代码可读性。

(2)缺乏对字段名字的检测,容易因程序员的笔误而出错。

(3)不便于携带元数据(传递给其他组件的信息)。

为解决上述问题,在Scrapy中可以使用自定义的Item类封装爬取到的数据。