ClickHouse 弄了一個 C++ 寫的 ZooKeeper drop-in replacement：ClickHouse Keeper
source link: https://blog.gslin.org/archives/2023/09/28/11374/clickhouse-%e5%bc%84%e4%ba%86%e4%b8%80%e5%80%8b-c-%e5%af%ab%e7%9a%84-zookeeper-drop-in-replacement%ef%bc%9aclickhouse-keeper/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
ClickHouse 弄了一個 C++ 寫的 ZooKeeper drop-in replacement：ClickHouse Keeper
在 Hacker News 上看到「ClickHouse Keeper: A ZooKeeper alternative written in C++ (clickhouse.com)」，原文是「ClickHouse Keeper: A ZooKeeper alternative written in C++」。
在 distributed coordination 這個領域目前應該是 etcd 比較知名，但 Apache ZooKeeper 畢竟算是元老，還是有不少應用程式會把 ZooKeeper 當作基礎建設在用。
因此 etcd 也包了一個 zetcd，可以用 etcd 當作底層結構，但提供 ZooKeeper API 的介面讓應用程式使用：
Serve the Apache Zookeeper API but back it with an etcd cluster
這次 ClickHouse 的人搞出一個用 C++ 寫的 ClickHouse Keeper，定位是 drop-in replacement，想要解決現有的應用程式遇到的記憶體資源問題。
從開頭的說明就可以看到著重在這塊：
up to 46 times less memory than ZooKeeper for the same volume of data while maintaining performance close to ZooKeeper.
而對於新的應用程式，在開發時應該就不太會選 ZooKeeper 了，畢竟連 distributed lock 都得自己操作 znode 把功能疊出來 (像是官網很貼心的還提供了「ZooKeeper Recipes and Solutions」，裡面提供了 lock 的方法)，而這種事情太累，用 etcd 方便太多...
Related
ClickHouse 自家做的 benchmark 比較
在「Show HN: A benchmark for analytical databases (Snowflake, Druid, Redshift) (clickhouse.com)」這邊看到 ClickHouse 自家做的 benchmark 比較，網站在「ClickBench — a Benchmark For Analytical DBMS」這邊。 這種 benchmark 基本上是拿來當作清單來看，另外 Hacker News 上的討論一定得看，尤其是沒被列上 benchmark 的... 講到 ClickHouse，先前是有朋友跑來說他有個需求是需要跑分析，但遇到用 PostgreSQL 時發現寫入速度不夠快的問題，看看有沒有什麼方法可以解。問了多一點以後發現他的需求是 OLAP 類而不是 OLTP 類，就先跟他講要去找 OLAP engine 來解決。 然後就聊到維基百科上「Comparison of OLAP servers」這個條目，裡面列出來的 open source 軟體是不少，但 Apache 家基本上大家都知道是回收場，裡面就剩下 ClickHouse…
July 15, 2022In "Computer"
Kafka 拔掉 ZooKeeper 的計畫
目前 Kafka cluster 還是會需要透過 ZooKeeper 處理不少資料，但眾所皆知的，ZooKeeper 實在是不好維護，所以 Kafka 官方從好幾年前就一直在想辦法移除對 ZooKeeper 的相依性。 這篇算是其中一塊：「Kafka Needs No Keeper」。 真的自己架過 Kafka cluster 就會知道其中的 ZooKeeper 很不好維護，尤其是 Apache 官方版本的軟體與文件常常脫勾，設定起來就很痛苦。所以一般都會用 Confluent 出的包裝，裡面的 ZooKeeper 軟體與 Confluent 自己寫的文件至少都被測過，不太會遇到官方文件與軟體之間搭不上的問題。 另外一個常見的痛點是，因為 Kafka 推動拔掉 ZooKeeper 的計畫推很久了 (好幾年了)，但進展不快，所以有時候會發現在 command line 下，有些指令會把 API endpoint 指到 ZooKeeper 伺服器上，但有些指令卻又指到 Kafka broker 上，這點一直在邏輯上困擾很久，直到看到官方的拔除計畫 (但又不快) 才理解為什麼這麼不一致... 給需要的人參考，當初在架設 Kafka…
March 18, 2020In "Computer"
zetcd：用 etcd 跑 ZooKeeper 架構
在「zetcd: running ZooKeeper apps without ZooKeeper」這邊介紹了用 etcd 當作 ZooKeeper 伺服器。程式碼在「Serve the Apache Zookeeper API but back it with an etcd cluster」這邊可以看到。 不過可以看到有不少 overhead： 但 etcd 用 Go 寫 (省下 JVM tuning？)，可能是個不錯的誘因...
May 20, 2017In "Computer"
Leave a Reply
Your email address will not be published. Required fields are marked *
Comment *
Name *
Email *
Website
Notify me of follow-up comments by email.
Notify me of new posts by email.
To respond on your own website, enter the URL of your response which should contain a link to this post's permalink URL. Your response will then appear (possibly after moderation) on this page. Want to update or remove your response? Update or delete your post and re-enter your post's URL again. (Learn More)
Post navigation
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK