本專區由 數據庫 團隊提供資訊和技術支持,歡迎社區成員申請加入管理小組。
數據庫是“按照數據結構來組織、存儲和管理數據的倉庫”。是一個長期存儲在計算機內的、有組織的、可共享的、統一管理的大量數據的集合。
本專區由 數據庫 團隊提供資訊和技術支持,歡迎社區成員申請加入管理小組。
10 月 21 日至 22 日,由中國計算機學會(CCF)、開放原子開源基金會主辦的 2023 CCF 中國開源大會在長沙順利舉行。其中,開源商業化分論壇由開源中國承辦,開源中國董事長馬越擔任主席。來自開源原生商業公司的諸多專家就開源項目商業化最佳實踐展開分享,為更多開發者和企業提供可借鑒的經驗,共同推動開源生態建設,助力開源生態發展。 開源中國董事長馬越以《中國開源商業發展的現狀及思考》為題發表主旨演講。他指出,當前... 展開更多
> 作者:白 珅 > > Databend 研發工程師 > > https://github.com/b41sh  ## 為什么需要 SQLSmith? 在數據庫系統的開發和維護過程中,測試扮演著至關重要的角色。它不僅可以驗證功能的正確性,還可以發現潛在的問題,確保數據庫在每個變更和迭代后保持性能和穩定性。Databend 的 CI 已經支持了多種類型的測試,主要包括: - 單元測試(Unit ... 展開更多
## ?? 新功能 - 發布策略支持制定更靈活的變更發布人:可以指定任意角色集合,也可以指定自定義審批流的最后一個審批人。  - 支持在項目中創建分支保護規則。 - 支持給數據庫設置標簽。 - 支持給字段設置標簽。 - 支持給表設置分類分級。 ## ?? 改進 - 支持 PostgreSQL 16。 - SQL Editor:支持自定義數據庫樹的視圖。  昨天看到社區發布了一個新的 MySQL 大表變更工具 Spirit。是海外支付巨頭 Block 旗下的 Cash App (地位類似于支付寶) 開源的,作者之前也在 PingCAP 工作過。  目前市面上做大表變更的方案有兩個: - Percona 開源的 pt-online-schema-change,... 展開更多
本文分享自華為云社區《GuassDB數據庫的GRANT & REVOKE》,作者: Gauss松鼠會小助手2 。 一、GaussDB的權限概述 在數據庫中,對象的創建者將成為該對象的所有者,具有對該對象進行查詢、修改和刪除等操作的權限。同時,系統管理員也擁有與所有者相同的權限。因此,如果要讓其他用戶能夠使用某個對象,必須向該用戶或包含該用戶的角色授予必要的權限。 GaussDB數據庫對象權限: 對象 權限 說明 數據庫 DATABASE CONNECT 允許用戶... 展開更多
 > [Databend](https://github.com/datafuselabs/databend) 是一款現代云數倉。專為彈性和高效設計,為您的大規模分析需求保駕護航。自由且開源。即刻體驗云服務: 。 ## What's On In Databend 探索 Databend 本周新進展,遇到更貼近你心意的 Databend 。 ### 特性預覽:使用 SQL 管理后臺任務 此前,Databend 引入了 **后臺服務**(Serve... 展開更多
 本文整理于上周六(10月21日)Data Infra 第 16 期的活動內容。本次活動由 Databend 研發工程師-王旭東為大家帶來了一場主題為《Databend hash join spill 設計與實現》的分享,讓我們一起回顧一下吧~ ## 以下是本次活動的相關視頻、資料及文字: 通過本次分享,我們能更加了解 Databend 的 hash join spill 的設計與實現,以及學習如何使用... 展開更多
OceanBase 全局索引與局部索引探索導致的本區域查找和跨區域查找。 > 作者:網名大數據模型,對制造業、銀行業、通訊業了解多一點,關心專注國產數據庫技術布道以及數據資產建設的應用實踐。 > > 愛可生開源社區出品,原創內容未經授權不得隨意使用,轉載請聯系小編并注明來源。 > > 本文約 1200 字,預計閱讀需要 4 分鐘。 # OceanBase 的索引 索引和分區是數據庫的關鍵核心基本功能,OceanBase 是一個單體分布式的架構,具有高... 展開更多
一、前言 自建 Redis 系統是得物 DBA 團隊自研高性能分布式 KV 緩存系統,目前管理的 ECS 內存總容量超過數十TB,數百多個 Redis 緩存集群實例,數萬多個 Redis 數據節點,其中內存規格超過 1T 的大容量集群多個。 自建 Redis 系統采用 Proxy 架構,包含 ConfigServer、Proxy 等核心組件,還包括一個具備實例自動化部署、資源管理、診斷與分析等重要功能在內的完善的自動化運維平臺。 本文將從系統架構及核心組件、自建 Redis ... 展開更多
## 1.背景概述 在一次主從復制架構中,由于主節點binlog損壞,導致從節點無法正常同步數據,只能重做從節點;因此使用MySQL 8.0.17開始提供的clone技術進行恢復,恢復后的2天都發生了主從報錯數據沖突。 通過解析binlog發現,同一時刻主從節點都在執行同一條語句,因此詢問業務是否在主從節點都執行了定時任務,業務回復定時任務只在主節點執行。 最后排查發現,克隆后的從節點的定時任務也會是開啟的狀態,因此同一時刻,主從節... 展開更多
本文分享自華為云社區《GaussDB(DWS)性能調優:實時場景下表行數估算不準確引起的的性能瓶頸問題案例》,作者: O泡果奶~。 本文針對實時場景下SQL語句因表行數估算不準確而導致語句執行超時報錯的案例進行分析。 1、【問題描述】 實時場景下,select查詢語句執行時間過長,該語句verbose執行計劃中存在nestloop,且使用hint(set (enable_index_nestloop off)) 無法生效。 2、【原始語句】 select * from ( select wo...... 展開更多
寫在前面 外鍵是關系型數據庫中非常便利的一種功能,它通過一個或多個列為兩張表建立連接,從而允許跨表交叉引用相關數據。外鍵通過約束來保持數據的一致性,通過級聯來同步數據在多表間的更新和刪除。在關系數據庫系統中,大多數表都遵循外鍵的概念。因此使用外鍵可以在一定程度上減輕業務代碼中對數據一致性判斷的工作量。 雖然外鍵的功能很便利,但有很多文章探討過是否應該在MySQL等數據庫中使用外鍵,因為外鍵在保證數據的... 展開更多
背景 數據庫軟件誕生至今,經過了幾十年的發展和演進,已經成為IT系統中不可或缺的關鍵技術。由于數據庫存儲了大量的敏感數據,因此需要對數據庫進行訪問控制和權限管理,以保護數據的安全和隱私。MYSQL數據庫提供了權限管理功能,通過使用GRANT語句授權用戶或用戶組對特定數據庫對象的操作權限,如全局級別、數據庫級別、表級別、視圖級別或列級別的權限。PolarDB-X數據庫除了普通的權限管理能力,還支持了三權分立、TDE的企業... 展開更多
引言 隨著PolarDB分布式版的不斷演進,功能不斷完善,新的特性不斷增多,整體架構擴大的同時帶來了測試鏈路長,出現問題前難發現,出現問題后難排查等等問題。原有的測試框架已經難以支撐實際場景的復雜模擬測試。因此,我們實現了一個基于業務場景面向優化器索引選擇的混沌查詢實驗室,本文之后簡稱為CEST(complex environment simulation test)。 CEST能夠提供靈活生產各種數據的測試工具,包括有無傾斜,有無全局二級索引,... 展開更多
本文章討論了當您沒有足夠的磁盤空間來存儲兩個數據集時,使用帶有安全選項DATA DIRECTORY 的 CLONE INSTANCE 命令。 > 作者:Sveta Smirnova,數據庫專家。 > > 本文來源:https://www.percona.com/,愛可生開源社區翻譯。 > > 本文約 800 字,預計閱讀需要 3 分鐘。 在我之前關于 `CLONE INSTANCE` 命令的博客文章[《MySQL 克隆插件不是你的備份》](https://www.percona.com/blog/the-mysql-clone-plugin-is-not-your-backup/... 展開更多
深度學習模型有能力自動發現變量之間的關系,而這些關系通常是不可見的,這使得深度學習可以挖掘新的因子和規律,為量化投資策略提供更多可能性。在傳統的量化策略開發流程中,通常會使用 Python 或第三方工具生成因子,并將其存儲為文件。這些因子是構建深度學習模型的基礎輸入,包括技術指標、波動性指標和市場情緒指標等。隨著證券交易規模不斷擴大以及因子數據量的激增。傳統的文件存儲因子作為深度學習模型的輸入,面臨以下... 展開更多
Bytebase 面向全球,通常調研我們產品的 DBA 和開發者之前已經在用可視化 SQL 客戶端來操作數據庫。我們發現一個現象,**在國內 Navicat 的占有率要遠遠高于其他的 SQL 客戶端**。而在我們接觸的國外客戶里,Navicat 的存在感又遠沒有國內那么高,海外最流行的客戶端是 DBeaver。 這個差異在 Google Trends 上也一目了然 ??  本文也嘗... 展開更多
1 背景 目前測試組同學基本具備自動化腳本編寫能力,為了提高效率,如何靈活運用這些維護的腳本去替代部分手工的重復工作?為了達到測試過程中更多的去使用自動化方式,如何能夠保證通過腳本覆蓋更多的校驗點,提高自動化測試的精度和力度?那么一定是不斷的豐富斷言,符合預期場景。緊接著棘手的問題就是,在前人維護的腳本不清楚如果在方法內部修改?擔心修改原來邏輯影響正向流程運行?一個斷言方法希望應用到更多的用例中?... 展開更多
本文分享自華為云社區《Elasticsearch向量檢索的演進與變革:從基礎到應用》,作者: 汀丶。 1.引言 向量檢索已經成為現代搜索和推薦系統的核心組件。 通過將復雜的對象(例如文本、圖像或聲音)轉換為數值向量,并在多維空間中進行相似性搜索,它能夠實現高效的查詢匹配和推薦。 Elasticsearch 作為一款流行的開源搜索引擎,其在向量檢索方面的發展也一直備受關注。本文將回顧 Elasticsearch 向量檢索的發展歷史,重點介紹各個... 展開更多