ScrapydWeb：我的第一个 1k Star 开源项目

• :diamond_shape_with_a_dot_inside: Scrapyd 集群管理

  • :100: 支持所有 Scrapyd JSON API
  • :ballot_box_with_check: 支持通过分组和过滤来选择若干个节点
  • 一次操作, 批量执行

• :mag: Scrapy 日志分析

  • :1234: 数据统计
  • :chart_with_upwards_trend: 进度可视化
  • :bookmark_tabs: 日志分类

• :battery: 增强功能

  • :package: 自动打包项目
  • 集成 :link: LogParser
  • :alarm_clock: 定时器任务
  • :e-mail: 邮件通知
  • :iphone: 移动端 UI
  • :closed_lock_with_key: web UI 支持基本身份认证

:warning: 环境要求

:exclamation:️ 请先确保所有主机都已经安装和启动 :link: Scrapyd 。

:bangbang: 如果需要远程访问 Scrapyd，则需在 :link: Scrapyd 配置文件 中设置 'bind_address = 0.0.0.0'，然后重启 Scrapyd。

:arrow_down: 安装

• 通过 pip:

pip install scrapydweb

:exclamation:️ 如果 pip 安装结果不是最新版本的 scrapydweb，请先执行 pip install -U pip ，或者前往 https://pypi.org/project/scrapydweb/#files 下载 tar.gz 文件并执行安装命令 pip install scrapydweb-x.x.x.tar.gz

• 通过 git:

git clone https://github.com/my8100/scrapydweb.git
cd scrapydweb
python setup.py install

:arrow_forward: 启动

1. 通过运行命令 scrapydweb 启动 ScrapydWeb（首次启动将自动生成配置文件）。
2. 访问 http://127.0.0.1:5000 （建议使用 Google Chrome 以获取更好体验） 。

:globe_with_meridians: 浏览器支持

最新版本的 Google Chrome，Firefox 和 Safari。

$ git clone https://github.com/my8100/scrapydweb.git
$ cd scrapydweb

# 创建虚拟环境
$ pip install virtualenv
$ virtualenv venv/scrapydweb
# 亦可指定 Python 解释器：$ virtualenv -p /usr/local/bin/python3.7 venv/scrapydweb
$ source venv/scrapydweb/bin/activate

# 安装依赖库
(scrapydweb) $ python setup.py install
(scrapydweb) $ pip install pytest
(scrapydweb) $ pip install coverage

# 请先确保已经安装和启动 Scrapyd，然后检查和更新 tests/conftest.py 文件中的 custom_settings
(scrapydweb) $ vi tests/conftest.py
(scrapydweb) $ curl http://127.0.0.1:6800

# '-x': 在第一次出现失败时停止测试
(scrapydweb) $ coverage run --source=scrapydweb -m pytest tests/test_a_factory.py -s -vv -x
(scrapydweb) $ coverage run --source=scrapydweb -m pytest tests -s -vv --disable-warnings
(scrapydweb) $ coverage report
# 生成 HTML 报告, 文件位于 htmlcov/index.html
(scrapydweb) $ coverage html

• 前端
  • :link: Element
  • :link: ECharts
• 后端
  • :link: Flask