5

MySQL运维12-Mycat分库分表之按天分片 - Se7eN_HOU

 1 year ago
source link: https://www.cnblogs.com/Se7eN-HOU/p/17914391.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

一、按天分片

  指定一个时间周期,将数据写入一个数据节点中,例如:第1-10天的数据,写入到第一个数据节点中,第2-20天的数据写入到第二个节点中,第3-30天的数据节点写入到第三个数据节点中。    

  

751754-20231219172716472-1151090919.png

  说明1:按天分片要配置一个起始日期,一个结束日期,一个分片间隔时间三个参数

  说明2:按天分片允许当前时间超出配置的开始时间和结束时间,超出时间范围仍然会按照分片间隔时间,继续在多个数据节点之间切换的

  说明3:该案例中分片的起始时间为2023-12-01,结束时间为2023-12-30,一共30天的时间。但是如果当前日期超过了这个时间段,该规则仍然可以用,继续按照分片间隔时间10天,继续分片。

  说明4:该案例中分片间隔时间为10,即10天。所以这里需要至少三个数据节点。因为分片时间范围是30天除以10天的间隔等于3,而如果只配置了两个分片服务器则会报错,因为第1-10天的数据写在了第一个分片服务器上,第10-20天的数据写入到了第二个分片数据库中,从第21天-30的数据,就会找不到分片服务器而报错。

  

751754-20231219172220974-936668741.png

二、准备工作

  逻辑库:hl_logs,先在各个数据节点上创建好数据库。

  

751754-20231219173330354-1280266994.png

三、配置rule.xml

<!--    rule.xml示例中没有,需要自己手动实现    -->
<tableRule name="sharding-by-date">
    <rule>
        <columns>create_time</columns>
        <algorithm>sharding-by-date</algorithm>
    </rule>
</tableRule>

  说明1:这个按照(天)日期分片,在rule.xml示例中也是没有写好的,需要自己实现。

<!--    rule.xml示例中没有,需要自己手动实现    -->
<function name="sharding-by-date" class="io.mycat.route.function.PartitionByDate">
    <property name="dateFormat">yyyy-MM-dd</property>
    <property name="sBeginDate">2023-12-01</property>
    <property name="sEndDate">2023-12-30</property>
    <property name="sPartionDay">10</property>
</function>

  说明2:这个按照(天)日期分片的function标签,在rule.xml示例中也是没有写好的,需要自己实现。

  说明3:dateFormat属性设置的分片日期的格式

  说明4:sBeginDate是分片的开始日期

  说明5:sEndDate是分片的结束日期

  说明6:sPartionDay是分片间隔时间

  说明7:如果当前时间超过了分片结束日期依然可以继续按照分片间隔时间,继续分片使用

四、配置schema.xml

  

751754-20231219174404730-1378863010.png

  说明1:逻辑库为:hl_logs

  说明2:逻辑表为:tb_day

  说明3:分片规则为:"sharding-by-date"

  

751754-20231219175019077-1487416556.png

  

751754-20231219175043357-477141299.png

  说明4:dn4对应的是dbhost1即192.168.3.90分片

  说明5:dn5对应的是dbhost2即192.168.3.91分片

  说明6:dn6对应的是dbhost3即192.168.3.92分片

五、配置server.xml

  

751754-20231219175223802-1747507318.png

  说明1:在之前的文章中已经将tb_logs表添加到root用户的权限中了,所以这里不需要更改即可。

六、按(天)日期分片测试

  首先重启Mycat

  751754-20231219175416993-1295117324.png

  登录Mycat

  

751754-20231219175458515-531697128.png

  查看逻辑库和逻辑表

  

751754-20231219175615536-1316497731.png

  这里的tb_day只是逻辑库,而在MySQL中还并没有tb_day这个表,需要在Mycat中创建

create table tb_day(id int auto_increment primary key, name varchar(20), create_time varchar(19));

  

751754-20231219180009196-1919389031.png

  插入数据进行测试:这里插入一组数据进行测试:

insert into tb_day(name, create_time) values ("张三", "2023-12-02");
insert into tb_day(name, create_time) values ("李四", "2023-12-12");
insert into tb_day(name, create_time) values ("王五", "2023-12-22");
insert into tb_day(name, create_time) values ("赵六", "2023-12-31");
insert into tb_day(name, create_time) values ("侯七", "2024-01-01");
insert into tb_day(name, create_time) values ("孙八", "2024-01-11");
insert into tb_day(name, create_time) values ("周九", "2024-01-21");

  

751754-20231219180744490-1871857701.png

  

751754-20231219183253134-1923420370.png

  说明1:张三的创建时间为2023-12-02在2023-12-01 至 2023-12-10之间,所以张三在192.168.3.90第一个数据分片上。

  说明2:赵六的创建时间不在2023-12-01 至 2023-12-30的时间范围了,所以重新开始以10天为一周期的计算周期,而2023-12-31在新周期的第一个区间,所以赵六也在192.168.3.90第一个数据分片上。

  说明3:侯七的创建时间不在2023-12-01 至 2023-12-30的时间范围了,所以重新开始以10天为一周期的计算周期,而2024-01-01在新周期的第一个区间,所以侯七也在192.168.3.90第一个数据分片上。

  

751754-20231219183747558-192888139.png

  说明4:李四的创建时间为2023-12-12在2023-12-11 至 2023-12-20之间,所以张三在192.168.3.91第二个数据分片上。

  说明5:孙八的创建时间不在2023-12-01 至 2023-12-30的时间范围了,所以重新开始以10天为一周期的计算周期,而2024-01-11在新周期的第二个区间,所以孙八也在192.168.3.91第二个数据分片上。

  

751754-20231219184148450-598213841.png

  说明6:王五的创建时间为2023-12-22在2023-12-21 至 2023-12-30之间,所以王五在192.168.3.92第三个数据分片上。

  说明7:周九的创建时间不在2023-12-01 至 2023-12-30的时间范围了,所以重新开始以10天为一周期的计算周期,而2024-01-21在新周期的第三个区间,所以周九也在192.168.3.92第三个数据分片上。

  

751754-20231219184518874-34504997.png

  说明8:在Mycat上进行查询的数据是,所有数据节点的全集。按(天)日期分片是水平分库分表的一种方式。


Recommend

  • 61
    • database.51cto.com 6 years ago
    • Cache

    MySQL分库分表,写得太好了!

    Mysql分库分表方案 1.为什么要分表: 当一张表的数据达到几千万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。 my...

  • 17
    • 微信 mp.weixin.qq.com 5 years ago
    • Cache

    Mycat 和分库分表

    mycat是一种非常流行的分布式数据库中间插件,mycat的作用为满足数据库的大量存储,提高了查询性能,从架构的角度来理解就是前端用户可以把mycat看作是一个数据库的代理,核心功能是分库分表,即将一个大表水平分割为n个小表。 ...

  • 22
    • www.cnblogs.com 5 years ago
    • Cache

    MySQL之分库分表(MyCAT实现)

    分库分表介绍 随着微服务这种架构的兴起,我们应用从一个完整的大的应用,切分为很多可以独立提供服务的小应用。每个应用都有独立的数据库。 数据的切分分为两种: 垂直切分:按照业务模块进行切分,将不...

  • 26

    上文

  • 13

    我所理解的MySQL(六)分库分表与主从同步 Planeswalker23 2020年11月11日 共8,255字 101次浏览

  • 15
    • www.80shihua.com 4 years ago
    • Cache

    mysql 分库分表

    mysql 分库分表mysql 分库分表 分库分表时机 当业务量小的时候,我们不需要去关注数据库存储的数据多少,当业务量大的时候,单个表的行数有几百万的时候,我们需要考虑分库分表。 根据业务增常量,推算出分库的片数...

  • 6

    基于 ShardingSphere5.x 实现 mysql 数据分表分片 用代码保护地球, AI 和 IoT 世界的工程师们准备好了吗?

  • 4

    .Net下你不得不看的分表分库解决方案-多字段分片 本期主角:ShardingCore 一款ef-core下高性能、轻量级针对分表分库读写分离的解决方案,具有零依赖、零学习成本、零业务代码...

  • 4
    • www.cnblogs.com 1 year ago
    • Cache

    MySQL运维5-Mycat配置 - Se7eN_HOU

    一、schema.xml   1.1 简介     schema.xml作为Mycat中最重要的配置文件之一,涵盖了Mycat的逻辑库、逻辑表、分片规则、分片节点即数据源的配置。主要包括一下三组标签 schema标签

  • 11
    • www.cnblogs.com 1 year ago
    • Cache

    MySQL运维4-Mycat入门 - Se7eN_HOU

    一、mycat概述   mycat是阿里巴巴企业下的开源的,基于JAVA语言编写的MySQL数据库中间件,可以像使用MySQL一样来使用Mycat,对于开发人员来说根本感觉不到mycat的存在。之前在国内使用数据库分库分表,读写分离最主流的就是使用mycat,但是截止到今日2023-1...

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK