新聞資訊
行業(yè)資訊
將數(shù)據(jù)遷移到谷歌云平臺(tái)的方法
2023-12-14 08:35:40
摘要:當(dāng)用戶(hù)決定使用谷歌云服務(wù)器的時(shí)候,經(jīng)常會(huì)碰到一個(gè)問(wèn)題,我要怎么把數(shù)據(jù)遷移到谷歌云平臺(tái)呢?谷歌云平臺(tái)Google Cloud Platform 提供了 4 種主要的數(shù)據(jù)遷移解決方案,以滿(mǎn)足各種情境的需求。

當(dāng)用戶(hù)決定使用谷歌云服務(wù)器的時(shí)候,經(jīng)常會(huì)碰到一個(gè)問(wèn)題,我要怎么把數(shù)據(jù)遷移到谷歌云平臺(tái)呢?當(dāng)需要數(shù)據(jù)中心遷移、機(jī)器學(xué)習(xí)、內(nèi)容存儲(chǔ)和交付以及備份和歸檔要求的時(shí)候,就會(huì)需要遷移數(shù)據(jù)。而在位置之間移動(dòng)數(shù)據(jù)時(shí),重要的是要考慮可靠性、可預(yù)測(cè)性、可擴(kuò)展性、安全性和可管理性。


谷歌云賬戶(hù)注冊(cè)http://hkonecloud.755800.com/


谷歌云平臺(tái)Google Cloud Platform 提供了 4 種主要的數(shù)據(jù)遷移解決方案,以滿(mǎn)足各種情境的需求。


Google Cloud 的數(shù)據(jù)遷移選擇,您可以使用以下四種主要方法中的任何一種將數(shù)據(jù)導(dǎo)入 Google Cloud:


1. Cloud Storage transfer tools

這些工具可幫助您將數(shù)據(jù)直接從你的電腦上傳到 Google Cloud Storage (GCS)。通常您可以使用此選項(xiàng)進(jìn)行幾 TB 規(guī)模的小型傳輸。其中包括 Google Cloud Console 用戶(hù)界面、JSON API 和 GSUTIL 命令行界面。GSUTIL 是一個(gè)開(kāi)源命令行實(shí)用程式,用于從 Shell 進(jìn)行腳本化傳輸。 它也讓您能夠管理 GCS bucket。它可以在 rsync 模式下進(jìn)行增量復(fù)制,而在 stream 模式下進(jìn)行推送腳本的輸出 —— 用于大型多執(zhí)行緒/多工處理的數(shù)據(jù)遷移。您可以用它取代 UNIX copy 命令(這個(gè)并非多執(zhí)行緒)。


2. Storage Transfer Service

Storage Transfer Service 這項(xiàng)服務(wù)讓您可以從其他云端、地端或 Google Cloud 中的一個(gè) bucket 到另一個(gè)儲(chǔ)存Bucket 的線(xiàn)上數(shù)據(jù)快速導(dǎo)入 Cloud Storage。您可以設(shè)置周期性的傳輸作業(yè)以節(jié)省時(shí)間和資源,并且可以擴(kuò)展到 10 Gbps。要自動(dòng)創(chuàng)建和管理傳輸作業(yè),您可以使用 storage transfer API 或自選語(yǔ)言的定制化函數(shù)庫(kù)。與 GSUTIL 相比,Storage Transfer Service 是一項(xiàng)托管的解決方案,可處理重試機(jī)制并提供詳細(xì)的傳輸日志記錄。由于數(shù)據(jù)在高頻寬網(wǎng)絡(luò)管道上移動(dòng),因此數(shù)據(jù)傳輸速度相當(dāng)快。地端傳輸服務(wù)可最大通過(guò)可用頻寬和效能優(yōu)化,來(lái)縮短傳輸時(shí)間。


3. Transfer Appliance

如果您要搬遷大型數(shù)據(jù)集、又沒(méi)有足夠的可用頻寬,Transfer Appliance 會(huì)是一個(gè)不錯(cuò)的選擇。Transfer Appliance 可以無(wú)縫、安全、快速地將數(shù)據(jù)傳輸?shù)?Google Cloud。例如,與使用典型網(wǎng)路 (100 Mbps) 完成線(xiàn)上數(shù)據(jù)傳輸需要三年時(shí)間相比,使用 Transfer Appliance 可以在 40 天內(nèi)完成 1 PB 數(shù)據(jù)傳輸。Transfer Appliance 是一個(gè)實(shí)體的設(shè)備這個(gè)過(guò)程很簡(jiǎn)單。首先,需要通過(guò)Cloud Console 訂購(gòu)設(shè)備。Google Cloud 提供兩種機(jī)型:TA40(40TB)和 TA300(300TB)。當(dāng)獲得設(shè)備后,您可以將數(shù)據(jù)復(fù)制到設(shè)備上(通過(guò) NFS 的文件復(fù)制),數(shù)據(jù)已加密并受到保護(hù)。

完成后,您只要將設(shè)備寄回 Google,數(shù)據(jù)將傳輸?shù)?GCS bucket 中并且從設(shè)備中刪除。Transfer Appliance 具有很高的效能,因?yàn)樗褂盟泄虘B(tài)驅(qū)動(dòng)器、最少的軟件和多個(gè)網(wǎng)絡(luò)連接選項(xiàng)。


4. BigQuery Data Transfer Service

使用此選項(xiàng),您的分析團(tuán)隊(duì)無(wú)需編寫(xiě)任何代碼即可為 BigQuery 數(shù)據(jù)倉(cāng)庫(kù)奠定基礎(chǔ)。它可以按計(jì)劃、托管方式自動(dòng)將數(shù)據(jù)移動(dòng)到 BigQuery。它支持多個(gè)第三方來(lái)源以及來(lái)自 Google SaaS 應(yīng)用程序、外部云存儲(chǔ)提供商的傳輸。以及 Teradata 和 Amazon Redshift 等數(shù)據(jù)倉(cāng)庫(kù)。輸入數(shù)據(jù)后,您可以直接在 BigQuery 中使用它進(jìn)行分析、機(jī)器學(xué)習(xí)或僅用于倉(cāng)儲(chǔ)。


結(jié)論

無(wú)論您的數(shù)據(jù)傳輸用例是什么,快速、可靠、安全和一致地完成數(shù)據(jù)傳輸都很重要。而且,無(wú)論您需要移動(dòng)多少數(shù)據(jù)、數(shù)據(jù)位于何處或擁有多少帶寬,總有一個(gè)適合您的選項(xiàng)。


騰訊云、阿里云、Google谷歌云、華為云、天翼云、移動(dòng)云、AWS亞馬遜云代理商哪家好?推薦找755800


海外服務(wù)器免費(fèi)測(cè)試http://running-capacitor.com/


USA-IDC為您提供免備案服務(wù)器 0元試用
立即聯(lián)系在線(xiàn)客服,即可申請(qǐng)免費(fèi)產(chǎn)品試用服務(wù)
立即申請(qǐng)