52

cdfang-spider：成都房协网爬虫，可视化数据分析

 5 years ago
source link: https://www.tuicool.com/articles/Mjm2Yrm
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

cdfang-spider

成都房协网数据分析

统计成都自摇号以来所有的房源信息，通过图表的形式展示出来。

Preview

在线预览： https://cdfangyuan.cn

源代码： https://github.com/yhlben/cdfang-spider

Features

已实现的功能：

  • 房源数据同步最新。
  • 首页：登记中房源、汇总统计展示。
  • 首页：按楼盘数、房源数统计，及统计结果排名。
  • 首页：按区域统计，汇总表查询。
  • 历史页：年度汇总统计展示。
  • 历史页：按房源数、区域、月份统计，及统计结果排名。
  • 历史页：按房源数、楼盘数、区域统计，汇总表查询。

Technology

主要用到的技术：

  • React：MVVM 框架，用于构建前端界面。
  • Ant Design：基于 React 的组件库。
  • Bizchats：基于 React 的图表库。
  • Less：CSS 预处理器，提供变量、计算、嵌套、Mixin、函数等。
  • Webpack：打包前端项目，生成静态文件。
  • Apollo：基于 GraphQL 封装，用于搭建后端 GraphQL 支持和前端数据请求。
  • Koa：后端 Web 层框架，用于接收请求，进行处理。
  • Cheerio：解析抓取的 HTML 数据。
  • Mongoose：为 MongoDB 定义数据模型。
  • Gulp：打包后端项目，编译 TS 语法。
  • Jest：测试前后端项目，单元测试，API 测试等。
  • Typescript：为 JS 提供良好的类型检查功能，能编译出高质量的 JS 代码。

项目没有使用脚手架工具搭建，都是一步一步配置而成。具体的搭建流程： 项目选型与环境搭建 。

Start

# clone with Git Bash
git clone https://github.com/yhlben/cdfang-spider.git

# change directory
cd cdfang-spider

# install dependencies
npm i

# serve with hot reload at localhost:8080
npm run dev

# build for production with minification
npm run build

License

MIT

Copyright (c) 2018-present yhlben


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK