scrapy
Web 爬取框架。 更多信息:https://docs.scrapy.org/en/latest/topics/commands.html#using-the-scrapy-tool。
- 创建一个项目:
scrapy startproject
- 创建一个爬虫(在项目目录下):
scrapy genspider
- 编辑爬虫(在项目目录下):
scrapy edit
- 运行爬虫(在项目目录下):
scrapy crawl
- 抓取一个网页并将它的网页源码打印至标准输出:
scrapy fetch
- 使用默认浏览器打开给定的 URL 来确认是否符合期望(为确保准确会禁用 JavaScript):
scrapy view
- 通过给定的 URL 打开交互窗口,除此之外还支持 UNIX 风格的本地文件路径:
scrapy shell
来源:tldr-pages contributors · 作者与贡献记录 · CC BY 4.0。离线整理了版式、链接和媒体显示。
