第1章　爬虫程序的构成和完整链条

爬虫程序与手机里安装的社交软件和娱乐软件不一样，但它们很有可能是相互关联的。你早上看到的新闻资讯有可能是爬虫程序收集整理而来的，你周一在办公室看到的股市走势数据有可能也是爬虫程序收集整理而来的。爬虫程序不单单是if else或者for这样的代码，它的核心是数据——它围绕着数据工作。

你可能听说过爬虫，但你是否清楚地知道：

·爬虫程序由哪些组件构成？

·爬虫程序爬取的数据被用在什么地方？

·爬虫工程师常用的库有哪些？

·如何编写一个爬虫程序？

本章我们将学习爬虫程序的构成和完整链条。首先从需求分析开始，然后学习一些开源库的使用方法和HTML节点定位语法，最后编写一个能够爬取指定网站新闻资讯的爬虫程序。