21

GitHub - BlankerL/DXY-2019-nCoV-Data: 2019新型冠状病毒疫情时间序列数据仓库

 4 years ago
source link: https://github.com/BlankerL/DXY-2019-nCoV-Data
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

README.md

2019新型冠状病毒疫情时间序列数据仓库

简体中文 | English

本项目为2019新型冠状病毒(2019-nCoV)疫情状况的时间序列数据仓库,数据来源为丁香园

近期数位高校师生与我联系,希望用这些数据做科研之用。然而并不熟悉API的使用和JSON数据的处理,因此做了这个数据仓库,直接推送大部分统计软件可以直接打开的csv文件,希望能够减轻各位的负担。

数据由2019新型冠状病毒疫情实时爬虫获得。

目前代码在测试阶段,因此每小时检测一次更新,若有更新则推送至数据仓库中,未来会根据推送情况调整更新频率。

文件列表:

  1. 全国数据DXYOverall.csv
  2. 地区数据DXYArea.csv
  3. 新闻数据DXYNews.csv
  4. 谣言数据DXYRumors.csv

其中:地区数据DXYArea.csv仅包括丁香园中国地区精确至地级市的数据,港澳台/西藏的数据精确度仅到省级,不包含在此文件中。如有需要可以修改脚本内Listen类的dumper函数,来自定义数据提取的存储方式。

由于本人精力有限,不接受数据定制。如对数据有更多的要求,烦请自行处理。

数据异常

目前发现浙江省/湖北省部分时间序列数据存在数据异常,可能的原因是丁香园数据为人工录入,某些数据可能录入错误,比如某一次爬虫获取的浙江省治愈人数为537人,数分钟后被修改回正常人数。

本项目爬虫仅从丁香园公开的数据中获取并储存数据,并不会对异常值进行判断和处理,因此如果将本数据用作科研目的,请自己对数据进行清洗。同时,我已经在Issue中开放了异常数据反馈通道,可以直接在此问题中反馈潜在的异常数据,我会定期检查并处理。

祝大家一切都好。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK