色控传媒

大數據的 3 大挑戰（以及如何克服）

大數據有許多特性，其非結構化、動態且複雜。但最重要的是：大數據是大數據。人類和 IoT 感測器每年產生數兆 GB 的資料。但這並不是昨天的資料，而是現代資料，格式越來越多樣化，來源也越來越廣泛。?

这导致今日的资料和昨天的系统之间发生了混乱。庞大的规模和规模，以及其速度和复杂性，為传统资料储存系统带来了一种新的压力。许多只是设备不足，而想要利用这种资料金矿的组织正陷入障碍。?

為什麼會發生這種情況？ 需要知道的重要大數據挑戰是什麼？ 如果您想駕馭大數據的力量，您的儲存解决方案是否足以克服大數據？

1.?大数据对传统储存来说太大了

或許大數據挑戰中最明顯的，就是其龐大的規模。我們通常以 PB 為單位進行測量（也就是 1,024 TB 或 1,048,576 GB）。

為了让您了解大数据能如何取得，以下是范例：??每小時至少上傳 1,458 萬張相片。每一張照片都會同時儲存互動內容，例如喜歡和評論。使用者至少喜歡一兆篇文章、評論和其他資料點。?

但不只是 Facebook 等科技巨擘在儲存和分析大量資料。即便是小企業，只要一小段社群媒體資訊，例如：想要了解人們對品牌的看法，就需要高容量的資料 Oracle 架構。

理论上，传统资料储存系统可以处理大量资料。但当任务是提供效率和深度资讯时，我们需要的只是跟不上现代资料的需求。

关联式资料库联盟

關聯式 SQL 資料庫是儲存、讀取和寫入資料的可靠、耗時方法。但這些資料庫甚至在達到最大容量之前，仍難以有效運作。含有大量資料的關聯式資料庫可能因為許多原因而變得緩慢。例如，每次將記錄插入關聯式資料庫時，索引必須自行更新。每次記錄數量增加時，此操作需要更長時間。插入、更新、刪除和執行其他操作可能需要更長的時間，具體取決於與其他表格的關係數量。?

简单来说：关联式资料库中的资料越多，每项作业所需的时间就越长。

向上扩展与向外扩展

也可以扩展传统资料储存系统，以改善效能。但由於传统的资料储存系统是集中的，因此您被迫扩大规模，而不是向外扩展。

擴充比擴充功能低资源效率，因為需要您新增系統、移轉資料，以及管理跨多個系統的負載。傳統的資料 Oracle 架構很快就會變得過於龐大且難以妥善管理。

嘗試使用傳統 Oracle 架構處理大數據，可能會部分失敗，因為資料量使擴充不夠實際。這使得擴展成為唯一實際可行的選項。使用分散式 Oracle 架構，您可以在達到指定容量後，為叢集新增節點，而且幾乎無限期地完成。

2.?大数据对於传统储存而言太复杂

在大數據方面，傳統儲存裝置又面臨了另一個重大挑戰？ 資料樣式的複雜性。傳統資料是結構化的。您可以將它整理成表格，列和欄之間關係直接。

關聯式資料庫是儲存傳統資料的資料庫類型，包含清楚定義欄位的記錄。您可以使用關聯式資料庫管理系統（RDBMS）存取這類資料庫，例如 MySQL、Oracle DB 或 SQL Server。

关联式资料库可能相对较大且复杂：它可能包含数千列和栏。但关键的是，透过关联式资料库，您可以参考资料与另一条资料的关係来存取资料。

大數據並不一定能整齊地融入傳統資料儲存系統的關聯式資料列和資料欄。它大多非結構化，由多種檔案類型組成，通常包括影像、影片、音訊和社群媒體內容。這就是為什麼傳統儲存解决方案不適合處理大數據的原因：他們無法正確分類。

現代化容器化應用程式也帶來新的儲存挑戰。舉例來說，Kubernetes 應用程式比傳統應用程式更為複雜。這些應用程式包含許多零件，例如 pod、volumes 和 configmaps，而且需要頻繁更新。傳統儲存裝置無法提供有效運行 Kubernetes 所需的功能。

使用非關聯式（NoSQL）資料庫，例如 MongoDB、Cassandra 或 Redis，可讓您對複雜且多樣的非結構化資料集取得寶貴見解。

3.?大数据对於传统储存来说太快了

傳統的資料儲存系統是為穩定資料保留而設計。您可以定期新增更多資料，然後對新資料集進行分析。但大數據幾乎是瞬間成長的，分析通常需要即時進行。RDBMS 的設計無法因應快速波動。

以感应器资料為例。物联网（滨辞罢）装置需要以最低延迟处理大量的感测器资料。感测器以接近常数的速度传输来自“现实世界”的资料。传统储存系统难以储存和分析速度达到此水準的资料。

或者，另一個例子：網路安全。IT 部門必須檢查透過公司防火牆抵達的每一包資料，以檢查是否包含可疑代碼。許多 GB 可能每天都會通過網路。為了避免成為網路犯罪受害者，分析必須即時進行，直到一天結束時，都不能將所有資料儲存在表格中。

大数据的高速性质与传统储存系统不同，传统储存系统可能是专案故障或未实现投资报酬率的根本原因。

4. 巨量資料挑戰需要現代化儲存解决方案

傳統的儲存架構適合處理結構化資料。但談到非結構化大數據的龐大、複雜和高速性質，企業必須找到替代解决方案，才能開始取得他們想要的成果。

分散式、可扩充、非关联式储存系统可即时处理大量复杂资料。这种方法可帮助组织轻鬆克服大数据的挑战，并开始取得突破性的深度资讯。

如果您的 Oracle 架構難以跟上您的業務需求，或者如果您想獲得資料成熟公司的競爭優勢，升級到能夠駕馭大數據力量的現代化儲存解决方案可能很有意義。?

Pure 提供一系列簡單、可靠的儲存即服務（STaaS）解决方案，可針對各種規模的作業進行擴充，並適用於所有使用案例。?深入瞭解或立即开始使用。