Java 開發(fā)者對 Apache Kafka 應(yīng)該不會感到陌生，這是一個分布式的發(fā)布訂閱消息系統(tǒng)，作為一個非常重要的開源項目，它已經(jīng)被許多公司以及產(chǎn)品用作關(guān)鍵組件。Kafka 及其配套的 Key-Value 存儲系統(tǒng)如今也越來越多地被用來為關(guān)系數(shù)據(jù)庫提供持久性存儲，大多數(shù)數(shù)據(jù)庫也使用 Key-Value 存儲系統(tǒng)作為基礎(chǔ)。

本文將要介紹的這款數(shù)據(jù)庫正是由 Apache Kafka 提供支持，它同樣使用了來自 Kafka 配套的 Key-Value 存儲系統(tǒng)。

近期面世的 KarelDB 是一款關(guān)系數(shù)據(jù)庫，它幾乎完全基于開源組件構(gòu)建，包括用于 SQL 引擎的 Apache Calcite 以及用于事務(wù)和控制功能的 Apache Omid。到目前為止，這款數(shù)據(jù)庫僅支持單節(jié)點，但 KarelDB 的作者表示它在將來會擴大支持規(guī)模。

和其他的新興數(shù)據(jù)庫一樣，KarelDB 同樣基于 Kafka 的嵌入式 Key-Value 存儲系統(tǒng)和名為 KCache 的內(nèi)存緩存(in-memory cache)。默認(rèn)情況下，KarelDB 使用配置成 RocksDB 緩存的 KCache，由應(yīng)用廣泛的 Kafka 流處理軟件提供支持。

KarelDB 的作者，同時任職于 Confluent 公司（基于 Apache Kafka 提供流數(shù)據(jù)平臺的供應(yīng)商）的 Robert Yokota 表示：“這使得 KarelDB 能夠支持規(guī)模更大的數(shù)據(jù)集和擁有更快的啟動時間。”他還在最近介紹 KarelDB 的博文中補充道：“KCache 可被配置成使用內(nèi)存緩存而非 RocksDB。”

與 Confluent 基于 Kafka 的平臺不同，KarelDB 不是流數(shù)據(jù)庫。盡管如此，Yokota 還是選擇了關(guān)系數(shù)據(jù)庫，主要是因為它基于 Kafka 支持的開源組件。因此，他認(rèn)為 KarelDB 有機會流行起來。這些開源組件包括 Calcite，它是一個 SQL 框架，支持將關(guān)系查詢推送到數(shù)據(jù)存儲系統(tǒng)，這個方法被認(rèn)為可以提供更高效的處理。Yokota 表示 KarelDB 會從即將推出的 Calcite 優(yōu)化機制中“自動受益”。

與此同時，Apache Omid 框架與 KarelDB 一起使用，以支持 Key-Value 存儲系統(tǒng)上的事務(wù)。Omid 最初被設(shè)計為面向 HBase NoSQL 數(shù)據(jù)庫的事務(wù)管理器，但由于它使用現(xiàn)有的 Key-Value 存儲系統(tǒng)來維護事務(wù)元數(shù)據(jù)，因此與 KCache 輕松地配套使用。

Yokota 指出，KarelDB 將類似的功能堆疊在 KCache 的上面以管理事務(wù)。Omid 還使用一種獨有的名為多版本并發(fā)控制（multi-version concurrency control）的技術(shù)，以在其他關(guān)系數(shù)據(jù)庫中實現(xiàn)“快照隔離（snapshot isolation）”機制。此外，KarelDB 還支持作為嵌入式數(shù)據(jù)庫或服務(wù)器運行。在第二種情況下，它使用 Apache Avatica 來支持遠(yuǎn)程過程調(diào)用傳輸協(xié)議（Remote Procedure Call wire protocol）。

Yokota 還認(rèn)為使用 Kafka 運行這些開源組件有許多優(yōu)點，其中一個就是多臺服務(wù)器能夠“追蹤”同一主題集。也就使得多臺 KarelDB 服務(wù)器可以作為一個集群運行，而不會產(chǎn)生單一故障點。”

對了，KarelDB 名字的靈感來自一位科學(xué)家 —— 它以捷克科幻小說作家 Karel Capek 的名字命名，Karel Capek 被認(rèn)為發(fā)明了“機器人”（robot）一詞。此外，還有一門編程語言也是以他的名字命名。

來源：https://www.datanami.com/2019/09/30/kafka-spawns-open-source-kareldb/

標(biāo)簽： [db:TAGG]

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。