高手問答第 298 期 —— 遷移上云或跨云遷移如何做到安全、高效、低成本?

OSC噠噠 發布于 02/27 16:13
閱讀 3K+
收藏 0

從數據到大模型應用,11 月 25 日,杭州源創會,共享開發小技巧

當前大規模推行的產業數字化轉型中,以云計算承載數智技術是企業的最佳選擇。無論是從傳統物理機到云虛擬機的遷移上云,還是從某云平臺到另個云平臺的跨云遷移,都需要保障業務的正常開展,做到平滑遷移數據不丟失。

企業和開發者在云遷移過程中,核心系統和數據應該如何遷移?如何確保應用的可用性和安全性?成本應如何分析和優化?

OSCHINA 本期高手問答 (2 月 28 日 - 3 月 6 日) 我們請來了張久志老師和大家一起探討關于業務遷移的相關技術及管理話題。

可討論的問題包括不限于:

  1. 業務遷移場景及遷移流程;
  2. 業務數據遷移所需的準備工作;
  3. 平移或基于云原生的數據遷移常見問題;
  4. 云遷移過程中的安全和成本問題;
  5. 京東云數據遷移案例相關

有其他相關的問題,也歡迎提問!

嘉賓介紹:

張久志,京東云交付架構師,10年以上IT系統項目建設經驗,支持京東集團內外部多個客戶業務遷移上云工作及外部政務云遷移項目,對業務上云的技術及過程管理有多個項目經驗,熟悉遷移及云上容災建設的相關標準及流程。

為了鼓勵踴躍提問,我們會在問答結束后從提問者中抽取 5 位幸運會員贈予辦公四寶禮盒一份。

OSChina 高手問答一貫的風格,不歡迎任何與主題無關的討論和噴子。

下面歡迎大家就編程語言設計與開發相關的問題向張久志老師提問,直接回帖提問既可。

加載中
1
OSC噠噠
OSC噠噠

 

高手問答第 298 期 —— 遷移上云或跨云遷移如何做到安全、高效、低成本?

@gotc @iman123 @xiaour  @忘了名字  @ericyan1

恭喜以上5位網友分別獲得辦公四寶禮盒一份。

請于03月15日12:00前登陸賬號, 私信@OSC噠噠     告知快遞信息(格式:姓名+電話+地址),逾期視為自動放棄哦~

e
ericyan1
抱歉。老師, OSchina 之前都有提醒,最近沒有提醒,沒有看到。 可以幫忙申請下嗎 ,已經私信快遞信息了。:pray:
hi懶喵
hi懶喵
:laughing:我也想要
0
enable-
enable-

@京東云開發者 張久志您好 ,向你咨詢幾個 業務上云相關問題

  1. 企業上云 如何保證 連續運行 
  2. 上云 這塊 京東云相比其他云 優勢在哪 ,費用,擴展性,性能,靈活性,安全
  3. 遷移案例 有沒有能介紹部分遇到的主要挑戰 有哪些
  4. 云原生時代,對上云提供了哪些便利
京東云開發者
京東云開發者
回復 @gotc : 目前數據庫同步,已經有成熟的產品,dts服務及數據同步服務,支持數據庫的增量同步,傳統自建數據庫主從模式,對網絡條件要求較高
enable-
enable-
回復 @京東云開發者 : 連續運行 方面 數據庫 數據同步 ,如何保證呢,以前網上查過相關 本地混合雙寫 逐步遷移這樣的
京東云開發者
京東云開發者
從技術角度講,docker的一次構建,多處運行的特性,確實給上云帶來了很多便利,基于云原生的業務,可以方便的在云上拉起和測試,極大的降低了運維及研發遷移過程中的工作量,另外一般云原生業務都有計算及數據分離的特性,有利于遷移。但是云原生業務往往是服務數量多,內部依賴相對復雜,可選技術棧較多,不容易統一,這方面為遷移增加了一定的難度。
京東云開發者
京東云開發者
4.京東2022年發布了一款產品,云艦,解決云原生時代多云異構遷移的底層基礎設施難題,方便客戶在多云及混合云架構下的業務多云部署及快速遷移。同時,京東云提供了遷移中心,客戶可以在控制臺方便的管理遷移上云的項目,同時,可以通過可視化的工具界面,實現數據的遷移及同步,相關鏈接,在前面的問答中已經提供。
京東云開發者
京東云開發者
3.最好的案例就是京東集團的內部業務系統遷移上云,京東云在服務京東零售及物流等內部相關業務系統在遷移到京東云的過程中,也遇到了一些技術挑戰,主要是服務的連續性保障問題,在遷移過程中,京東的服務不能出現中斷。另外在遷移過程中,還經常會有異構數據遷移、定制組件的適配及業務架構調整的需求,這都給遷移增加了難度。
下一頁
-1
iman123
iman123

@京東云開發者 你好,京東云可以在企業內部部署成私有云或者混合云使用么,有哪些限制;如果把企業內部的服務器/虛擬機遷移到公有云,數據量大的話,受限于網絡,應該很慢的吧;公有云相比本地虛擬化平臺/私有云有哪些優缺點呢;遷移完成后的后續增量同步是如何實現的?

京東云開發者
京東云開發者
系統及傳統業務文件,可以通過rsync或其他數據同步工具,根據監控到的文件修改,進行增量文件同步(如果有商業CDP工具,可能可以支持增量字節同步,減少數據同步壓力),對象存儲增量,可通過list文件的更新,來實現新增文件的同步,但需要注意,文件同名更新,無法通過list模式來進行增量同步。
京東云開發者
京東云開發者
遷移完成后的后續增量同步是如何實現的? 增量數據同步涉及多種數據,包括數據庫、系統及業務文件、對象存儲等,數據庫可以通過DTS遷移工具通過分析日志,邏輯同步增量數據?;谥鳈C在線遷移的場景下,主機在線遷移工具可以定期對變更文件進行檢索,傳輸變更文件到目標端。
京東云開發者
京東云開發者
公有云相比本地虛擬化平臺/私有云有哪些優缺點呢? 公有云優點:1、可以選擇多個公有云服務商,可以選擇國內國外不同區域及節點。2、PAAS、SAAS產品豐富度高。3、資產彈性度高,按需購買或擴容。4、運維成本相對較低。 公有云缺點:1、數據保存在公司外部。2、有公有云服務綁定風險。3、有特殊安全管理要求的業務及數據不能部署到公有云。4、某些場景下,公有云成本比私有云高。
京東云開發者
京東云開發者
京東云可以在企業內部部署成私有云或者混合云使用么,有哪些限制? 京東云包括幾個部分,公有云、私有云、專有云,可以為企業及政府提供專屬服務。通過專線打通企業自己IDC與公有云的資源,形成混合云服務模式。 私有云部署可以部署于客戶自建IDC,或通過托管到京東或ISP機房。需要注意私有云建設需要IDC符合私有云建設的IDC標準,建議供電、消防、承重、動環方面通過評測后搭建私有云。
-1
南方Go
南方Go

@京東云開發者  

  1. 最近正好有業務遷移場景,  有原來的jar包部署的spring web項目需要改造部署到 k8s上,   不計劃使用nfs掛盤,改造成了java調接口讀取上傳下載文件這種模式,不掛盤了??
  2.   如果從公有云上的開發測試的項目,遷移到內網企業的內網云上,這個步驟和流程是應該怎么樣的??
  3. 業務數據遷移所需的準備工作, 京東數據遷移是否做到了自動化部署和自動化遷移?自動化數據遷移做到了哪一步? 還是采取定期數據遷移>??
DolphinScheduler社區
DolphinScheduler社區
回復 @京東云開發者 : 開源的數據同步產品可以用 Apache SeaTunnel,已經有 B站、滴滴、頭條、騰訊等數百家公司在生產環境使用
京東云開發者
京東云開發者
回復 @pyboy58 : DTS是免費服務,可以遷移本地自建數據庫或云上自建數據庫及RDS,對使用者非常友好。其實現需要源端開啟binlog并賦予某個數據庫用戶reload, replication slave,select等權限,通過對源端日志的讀取、分析、傳輸及重組回放機制實現數據的遷移及同步。DTS目前尚無較好的開源解決方案,如果對數據遷移感興趣,也可以了解一下StreamSets的產品
京東云開發者
京東云開發者
回復 @pyboy58 : 京東云DTS(其他友商云也都有DTS服務),是一組工具,可以實現關系型數據庫的在線全量及增量遷移。https://dts-console.jdcloud.com 同時,京東云還提供DBS服務,是數據庫備份的自動化服務。
南方Go
南方Go
回復 @京東云開發者 : DTS是一組工具吧?能不能具體到是使用哪種方案或者有開源方案參考嗎?
京東云開發者
京東云開發者
京東云遷移中心已經內置于控制臺 https://amc-console.jdcloud.com/ 另外京東云提供遷移中心,可以通過遷移中心對遷移項目進行統一管理,通過遷移中心即可實現遷移的集中管理及部分步驟的自動化操作。 除了產品,京東云提供遷移服務,并在主頁提供遷移整體流程及方案指引視頻??梢酝ㄟ^網頁直接瀏覽 https://www.jdcloud.com/cn/pages/migration
下一頁
-1
j
jasinper

@京東云開發者 您好,目前采用的是企業自建的服務器及網絡,每天還有大量的數據在產生,沒辦法停機上云,這個的話是先需要備庫嗎還是怎么搞?如果是需要雙寫備庫,那mq 消息被消費的問題該怎么解決。還有就是分庫分表以后冷數據的查詢怎么優化會gengg

京東云開發者
京東云開發者
如果不能停止消息生產,則在源端與目標端,進行兩邊消息集群間消息的同步,同步全量消息數據,消費切換時同步集群的offset,以避免重復消費。同時需要同步考慮兩邊的數據同步及流量切換的配合,最好以測試環境提前演練并制定回退機制。分庫分表以后冷數據的查詢優化,這個建議您咨詢一下專業的DBA同事哈,謝謝~
京東云開發者
京東云開發者
文件因為具有時間屬性,因此,在打通網絡后,文件的自動或手工同步都很方便,要注意的是,在生產流量切換前,要停止單向的數據及文件同步。MQ及kafka等消息類服務,建議的方案,分為兩個場景,如果場景允許暫停消息生產,在遷移割接前,停止消息的生產,待消息全部消費完成后,進行割接,割接完成后,新環境繼續消息的生產及消費。
京東云開發者
京東云開發者
如果不使用DTS,在網絡打通的條件下,通過增加從庫節點的方式,以數據庫自身的同步機制完成數據同步上云也是一個常用的方向,自建數據庫這樣做也是很方便的,但是需要考慮企業IDC與云上網絡之間的網絡質量問題。除了數據庫,還包括生產的部分其他文件存儲,包括文檔、日志、對象存儲等。
京東云開發者
京東云開發者
您好,您這個場景很典型,企業內部業務上云,首先不能停服(當然在流量割接階段會有可能有短時間影響),您的思路想到了備庫,就是希望減少對主庫的影響,不影響業務運行。這種典型的數據庫遷移及同步的場景,也是各個云服務廠商及一些商業軟件廠商重點關注的場景,因此,從數據庫角度講,我上面回答其他同學的問題時,提到的DTS服務,也就是數據遷移服務,是可以滿足您不停機,遷移數據庫的需求的。
-1
hi懶喵
hi懶喵

@京東云開發者

在過渡期間,企業將如何最小化停機時間?

有沒有什么挑戰(例如互聯網連接不佳)會成為阻礙?

京東云開發者
京東云開發者
4、明確責任矩陣、進行全面溝通,溝通能夠發現技術層面很難發現的問題,越早建立遷移組織并形成有限的溝通機制,對遷移的順利實施越有利。 5、準備回退預案,做好POC驗證,POC能發現部分技術驗證無法發現的問題,提前準備解決方案。 6、業務涉及域名的,要提前做好云上的備案接入工作,有安全等保要求的,可以提前準備等保所需的信息和資料。
京東云開發者
京東云開發者
1、提前做好備份,有了備份數據,遷移過程的壓力會減小,相對寬松的遷移氛圍對遷移實施很有利。 2、遷移技術及工具的選擇,現在數據遷移工具越來越多,各個大廠也都有自己的工具,但是產品的限制及兼容程度各有不同,需要根據業務性質選擇并驗證。 3、做好流程手冊,明確操作責任人,聯系相關部門做好遷移的切換階段的護航準備。產品和服務類的問題一定要能找到人支持。
京東云開發者
京東云開發者
停機時間最小化,這個是個特別開放的問題,也是特別好的一個問題,影響停機時間的因素也特別多,比如網絡問題,安全問題,數據同步問題,或者說某個關鍵員工的健康問題等。我個人結合以前的一些項目總結了5個通用的經驗建議,提供給您參考。具體相關的方向,如果您有感興趣的,您可以繼續跟進提問,我們一起探討。
-1
b
buscoop1

@京東云開發者 從華為云遷移到京東云在不停機情況下,有案例,優勢在哪里

京東云開發者
京東云開發者
可以詳細描述一下業務場景和云資源的規模,不停機遷移,要具體場景具體分析,如果是獨立主機的遷移,還是需要短時間的停服割接時間窗口的。不停服的模式,在應用與數據分離的情況下,可以在數據落地切換到京東云后,逐步切換流量到京東云上的應用處理業務,實現不停服的遷移。
-1
賀小皮蛋
賀小皮蛋

@京東云開發者 老師混合云有可能實現嗎

京東云開發者
京東云開發者
您好,混合云這個模式,目前有很多成熟的方案,被很多企業或公司采用?;旌隙嘣颇J?,可以幫助客戶提高業務的可用性,實現客戶業務數據安全靈活管理。同時,還幫助客戶避免單廠商技術綁定
-1
賀小皮蛋
賀小皮蛋

@京東云開發者 老師混合云有可能實現嗎

-1
xiaour
xiaour

@京東云開發者 最近在準備“上云”的事情,那么上云過程中如何保證業務的連續性?如何相對準確的評估上云需要多少資源呢?

xiaour
xiaour
回復 :好的,感謝回答
京東云開發者
京東云開發者
回復 @xiaour : 對有安全要求項目,我們也可以組織安全團隊進行對接配合,給出合理的方案。復雜的項目,需要一對一的進行溝通,對技術及管理卡點進行解決。
京東云開發者
京東云開發者
回復 @xiaour : 這個時候遷移其他業務的時候,需要考慮本地業務與云上業務的依賴關系,建議的方式是打通IDC與京東云,形成混合云架構,通過網關實現云上云下業務的調用。如您所說,這需要應用層做一些適配改造。京東側可以從存儲數據的數據分類、數據加密、數據傳輸安全等層面配合客戶做數據遷移的操作配合,但業務層面還是需要客戶側進行梳理和調整。
京東云開發者
京東云開發者
回復 @xiaour : 敏感數據的存儲,這個在我們交付的一些項目中也會遇到,首先第一個原則是,滿足監管及合規要求,在此基礎上考慮遷移上云方案。如果部分數據必須存儲在自己的IDC,那么從遷移的規劃上,還是建議業務及數據不分離,業務數據保留在IDC,相應的業務也保留在IDC。
xiaour
xiaour
回復 @京東云開發者 : 謝謝,因為上云的話,要考慮敏感數據的存儲,因為在自己機房的話,可能管理層比較放心,那么設計這塊改動就會比較大,可能從底層數據的架構到應用層都要去改,投入的人力成本。關于這一點京東云一般是什么步驟幫用戶解決呢?
下一頁
OSCHINA
登錄后可查看更多優質內容
返回頂部
頂部
一本久久综合亚洲鲁鲁五月天,无翼乌口工全彩无遮挡H全彩,英语老师解开裙子坐我腿中间