從數據到大模型應用,11 月 25 日,杭州源創會,共享開發小技巧
系統服務能(SLA)力提升是一項系統性的工程,數據庫有作為整個IT系統的核心組件,在不同的應用場景下,用戶對于數據庫各項能力的關注點也不同,如:讀寫延遲、吞吐量、擴展性、可靠性、可用性等等。不少數據庫系統通過系統架構優化、硬件設備升級等方式,來解決可用性、性能等問題,但隨著集群規模的逐漸擴大,對系統可用性的要求也越來越高。
OSCHINA 本期高手問答 (6 月 1 日 - 6 月 11 日) 我們請來了 崔鵬老師 和大家一起探討關于PostgreSQL數據庫在高可用架構、分布式架構、以及容災等方面的技術點以及解決方案的話題。
可討論的內容包括但不限于以下幾個方面:
-
高可用解決方案,Pgpool II、Patroni 等。
-
分布式解決方案,CitusDB、PostgresXL 等。
-
備份工具 pg_dump、pg_rman、pgbackrest、pg_probackup 等。
-
PostgreSQL后端特性矩陣中特性。
-
基于PostgreSQL的信創數據庫。
以及其他關于PostgreSQL高可用解決方案的問題,歡迎提問。
嘉賓簡介
崔鵬,《PostgreSQL 高可用實戰》作者,擁有十年數據庫、操作系統、存儲領域的工作經驗。
2021 年度中國 PostgreSQL 最具價值技術專家 MVP、ORACLE OCM、MySQL OCP、PostgreSQL CM(中國首批 PG 數據庫大師)。
為了鼓勵踴躍提問,PG中文社區會在問答結束后從提問者中抽取 3 名幸運會員贈予PG專屬徽章。
OSChina 高手問答一貫的風格,不歡迎任何與主題無關的討論和噴子。
下面歡迎大家就 PostgreSQL高可用解決方案設計與實踐 相關問題向 崔鵬老師 提問,直接回帖提問既可。
高手問答第 301 期 —— 聊聊 PostgreSQL 高可用解決方案設計與實踐
@強尼唐 @墨子Zhai @xiaour
恭喜以上三位網友分別獲得 PG 專屬徽章一份~
請于6月20日前登陸賬號, 私信 @yaosaya 告知快遞信息(格式:姓名+電話+地址),過期視為自動放棄哦~
@崔鵬_PG中文社區 1. 基于 PostgreSQL 的信創數據庫, 要考個postgresql數據庫管理員認證,這個有什么途徑嗎?
2.備份工具 pg_dump、pg_rman、pgbackrest、pg_probackup 這個幾個備份工具怎么用比較好??都用在哪些地方比較方便,,優點和缺點?
@崔鵬_PG中文社區Pgpool II4.4.1 在從節點掉線之后,還是將查詢發送到從節點中,導致業務系統報錯,還有在從節點恢復之后,也是處于down的狀態,要手動pcp_attach_node回來,這些問題要怎么處理?
首先說PostgreSQL的分布式解決方案,基本都用在OLAP的業務場景中,主要的解決方案有citusdb、greenplum、PostgreSQL-XL、pg_shard等,代碼層面主要是考慮分布式解決方案在,幾個維度是否支持、比如增加片區后是否可以數據自動平衡分布、跨片區事務、分區建修改、跨片區join查詢、Order by、group by等。時效性保證多數都是使用2PC、3PC來保證。數據片區的冗余,一般是小表做復制表每個片區存同一份數據、片區的冗余有一些方案自身支持、有一些需要依賴PG的流復制來做冗余。
部署維護、主要考慮備份、容災、以及擴容等成本上。 @崔鵬_PG中文社區
@崔鵬_PG中文社區 ,你好,崔老師,我日常工作也有使用pg,我有這樣一個問題,pg有著對一次性入庫最大數量的限制,大概是32767/表字段數,但如果遇到高并發,大業務量場景,這塊pg是如何處理的呢?
@崔鵬_PG中文社區 您好, 談一下 PolarDB for PostgreSQL Ceph 共享存儲方式 的特點。謝謝
@崔鵬_PG中文社區 您好我是剛使用PGSQL的,還是不太熟
@崔鵬_PG中文社區 老師,之前外部公司給我們做了一個產品,大概4000多個模式和每個模式大概600張表,共占用存儲700G左右,目前用prometheus導出指標都無法導出,備份也不能執行,但是訪問目前問題不大,你覺得是什么問題,該怎么優化,雖然數據結構目前存在問題(正在解決,但是需要時間),有點不相信國外應用規模這么大的數據庫4000個模式就不行了
@崔鵬_PG中文社區 目前配置參數是這樣的,服務器16cpus 64g內存