70

Ruia:基于 asyncio 和 aiohttp 的异步爬虫框架(Python)

 5 years ago
source link: https://github.com/howie6879/ruia/blob/master/docs/cn/README.md?amp%3Butm_medium=referral
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

Ruia 中文文档

Ruia是一个基于 asyncioaiohttp 的异步爬虫框架,它的目标是让你更加方便且迅速地编写出属于自己的爬虫

很高兴你能使用 Ruia 来实现爬虫程序,不过在编码之前,希望你能通读此文档,因为它包含了 Ruia 的使用方法以及一些基础概念介绍

First steps

Topics

  • Item :定义爬虫的目标字段
  • Selector :从HTML中提取出目标字段
  • Request :请求并抓取目标网站资源
  • Response :进一步封装响应内容
  • Middleware :使爬虫支持第三方扩展
  • Spider :爬虫程序的入口

Getting help

如果在使用过程中遇到了困难,随时欢迎提 Issue

也随时欢迎加我微信拉您进群交流,备注(Ruia):

zAZfMnE.jpg!web


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK