2
数据仓库(10)数仓拉链表开发实例 - 张飞的猪
source link: https://www.cnblogs.com/the-pig-of-zf/p/16230544.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
数据仓库(10)数仓拉链表开发实例
拉链表是数据仓库中特别重要的一种方式，它可以保留数据历史变化的过程，这里分享一下拉链表具体的开发过程。
维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。
这里用商品价格的变化作为例子，具体的开发过程要按实际的来，不能照搬代码，编程重要的是了解背后的思路和原理，而不是ctrl+c和ctrl+v。那对我们学习提升的帮助有限，虽然可能对完成工作的效率帮助很大。
在开始介绍之前，这里的数据仓库的环境是HIVE。
首先看看原始的数据:
可以看到，原始的数据是每一个商品，一条记录，每一个商品，只保留最新的价格信息。这里的拉链表，我们做到天粒度的。
我们这里的思路是这样的，将最新的商品记录插入历史拉链表中，然后我们通过HIVE的窗口行数，按照end_date排序，然后分别取下一条的sale_price和end_date，然后再判断本条的价格和下一条的价格是否相等，如果是一样的，那么就把end_date改为下一条的end_date,最后做去重处理，然后就得到我们想要的数据了。
说了这么多，我觉得还是把sql贴出来会好一些，代码是最好的语言。
talk is cheap,show me the code。
-- 商品原始表这里取名goods_tableselect spu_id, min(start_date) as start_date, end_date as end_date, sale_pricefrom (select spu_id, start_date, if(sale_price = lead_sale_price,lead_end_date,end_date) as end_date, sale_price from ( select spu_id, start_date, end_date, sale_price, lead(sale_price,1,null) over(partition by spu_id order by end_date) as lead_sale_price, lead(end_date) over(partition by spu_id order by end_date) as lead_end_date from goods_table ) t) tgroup by spu_id, end_date, sale_price ;
根据上面的代码，跑出来的，就是我们想要的拉链表的数据了，看看最后的效果。
使用这种方式即可以记录历史，可以最大程度的节省存储，不会产生过多的冗余。
参考文章：数据仓库(10)数仓拉链表开发实例
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK