[實驗] 10GbE 與 RAID 大亂鬥，RAID 0 / RAID 5 / RAID 6 / RAID 10 速度差多少

RAID 大概是 NAS 和 DAS 中最常見的硬碟陣列模式，以家用用途而言， 4Bay 4 個硬碟槽也是最常使用的數量。
因此我便好奇幾種不同 RAID 格式之下，速度與 10GbE 應用上的表現

追蹤更多我的實驗 >>>

這系列文章主要是我對於 SSD / HDD 硬碟 x 數量 x 陣列 x 模式等幾個在 NAS 環境中常見的變因做的小研究測試，目前有以下這幾個比較實驗，實驗都自己設計、測試了很久，也歡迎到粉專：https://www.facebook.com/garynil.tw/ 點讚支持追蹤看後續更多的奇怪實驗～

• 硬碟越多，速度真的越快嗎？
• 10GbE RAID 大亂鬥，RAID 0 / RAID 5 / RAID 6 / RAID 10 常用的 RAID 速度差多少

RAID 科普

開始測試之前，先了解 RAID。
RAID 有很多種，主要常見家用會用到的大概有 RAID 0 / RAID 1 / RAID 5 / RAID 6 / RAID 10 這幾種，以下簡單介紹一下，想了解更清楚歡迎參考 WiKi

• RAID 0：
  將資料拆開以序列式 (Stripe) 在兩顆硬碟中平均分布資料，無備份功能，壞一顆則壞全部。
  最少需 2 顆硬碟，追求最大容量、速度
  4 個 HDD 之下陣列大小為 4 x 單顆容量

• RAID 1：
  鏡向式 (Mirror) 分布資料，追求安全性，最少需 2 顆硬碟，常見於 2 Bay 的組合應用
  4 個 HDD 之下陣列大小為 2 x 單顆容量

• RAID 5：
  最小需求硬碟數為 3 顆，多增加1 Bay 空間大小為奇偶效驗訊息用，追求最大容量
  4 個 HDD 之下陣列大小為 (N-1, 4-1) x 單顆容量

• RAID 6：
  最小需求硬碟數為 4 顆，多增加 2 Bay 空間大小為奇偶效驗訊息以增加安全性，因為最多可壞 2Bay 因此較 RAID 5 更為安全
  4 個 HDD 之下陣列大小為 (N-2, 4-2) x 單顆容量

• RAID 10

  綜合 RAID 0, 1 優點，先照 RAID 0 分成兩組，再分別在兩組內以 RAID 鏡向式分布資料
  4 個 HDD 之下陣列大小為 (4-2) x 單顆容量

對於容量計算上較不熟悉的使用者，很推薦使用「 Synology 官方提供的 RAID 容量計算器」來估算：https://www.synology.com/zh-tw/support/RAID_calculator

測試平台

實驗過程中，我以同樣設備、同樣實驗條件皆跑過 3~5 次取平均數據。設備部分選擇 10G 網路搭配 TB3 避免造成傳輸瓶頸。
我們的測試項目有一般常見的 1. Benchmark 軟體、2. 常見的拖拉複製動作，以及 3.使用指令及專業工具複製這幾個項目

測試平台

• MacBook Pro 2018 15″ 2019 i9 (macOS 10.15.5)
• 透過 Thunderbolt 3 轉 AKiTiO T3-10G
• Synology NAS DS1819+ 搭配 10G 網卡 E10M20-T1 （使用 8G 記憶體）直連
• WD RED PLUS WD140EFFX 14T x 4

測試平台以常見的 MacBook Pro 15″ 為主，NAS 端則是選擇 Synology 家用 8 Bay 機種 DS1819+ 搭配 10GbE 網卡。硬碟部分為了不產生 bottleneck 也模擬最快的硬碟可能性，這次選擇 NAS 專用硬碟： WD RED PLUS 系列中最大容量 WD140EFFX 14TB 大硬碟來測試。

▼ WD RED PLUS 14T WD140EFFX 採用 NASware3.0 技術，轉速為 5400 RPM Class，最高速可達 210 MB/s。

Benchmark 評測軟體與方式

評測方式我以 Blackmagic Disk Speed Test / AJA System Test 兩套跨平台速度評測軟體做測試，兩者皆在 macOS 10.15 中掛載 10Gbps SMB 磁碟直接跑分。Blackmagic 以預設 5GB 大小測試。AJA Test 設定以 1G 及 64G 10 bit YUV UHD 大檔分別做測試，並記錄三次讀寫底下最佳表現的數據

▼ 實際檔案傳輸測試則是掛載 10GbE SMB 資料夾並拖拉四個 10GbE 的藍光 MKV 檔（共計 40GB）測試並記錄傳輸時間，同時也以 iStat Menus 圖表觀察傳輸的最大速度

---

在以下個測試結果中，我們就這幾個組合來探討：

• RAID 0 vs RAID 5 vs RAID 6
• RAID 6 vs RAID 10
• RAID 5 vs Synology SHR
• RAID 5 vs RAID 6

RAID 0 vs RAID 5 vs RAID 6

Benchmark 總結果圖：

讀取表現
▼ RAID 0 / RAID 5 / RAID 6 的讀取在 benchmark 軟體上都差不多，主要是因為記憶體快取沒用盡的關係。如果測試大檔（如 AJA 64G 的測試）就可以看出實際的存取速度在組別間顯現出差異。趨勢也由 RAID 0 > RAID 5 > RAID 6，主要是因為 RAID 0 沒有安全機制並為序列寫入，因此效能表現最佳。不過即使 RAID 5 比不上 RAID 0，也還是有 5Gbps 的表現。

寫入表現

實際傳檔測試
▼ 當然跑跑 benchmark 軟體沒辦法瞭解實際情境，我也在 macOS 中以複製貼上至 SMB 磁碟來模擬傳檔測試，測試的檔案為四個剪輯過加起來剛好 40G 大小的 MKV 藍光 UHD 影片檔，測試一次傳四個，以及一次一個兩種情境，並以 iStat Menus 波形圖紀錄最高速度。

RAID 0 vs RAID 5 vs RAID 6 的結果也如 AJA 64G 測出來的趨勢相當，RAID 0 最快、RAID 5 次之（RAID 0 > RAID 5 > RAID 6）。
RAID 0 在消耗完快取的表現也能達到 870 MB/s 的最大速度表現，幾乎吃滿了 10GbE 的速度。
而 4 顆硬碟之下的 RAID 5 表現大約約 600 MB/s，這點剛好可以以現今開始普及的高速網路（10GbE、5GbE、2.5GbE）來討論，

RAID 5 600 MB/s 的表現換算 4.8 Gbps 以現行 5G 網路來說很剛好，而即使是 RAID 6、SHR 等其他格式，也大約有接近 5Gbps 的水準，所以如果有預算考量的人也可以選擇 5 Gbps 的網卡選項。

RAID 6 vs RAID 10

RAID 6 相對 RAID 10 較為安全一些，主要因為 RAID10 原理是先鏡射再分割資料，但是由於是分成兩組硬碟，所以如果你死的硬碟都在同一組，那就救不回來了。但相比之下 RAID 6 是將額外的空間當作奇偶效驗信息，所以你可以隨意死兩顆硬碟。

▼ 特別是在 AJA 64G 大檔上的讀取及寫入速度， RAID 10 比 RAID 6 有寫入 2 倍、讀取 3 倍的速度提升，RAID 10 的優勢如此明顯也蠻意外的，甚至速度還比 RAID 5 還優，在這三者的選擇上就看你要選安全還是速度了

• 容量上：RAID 6 與 RAID 10 相等

• 速度上：RAID 10 大勝 RAID 6（甚至優於 RAID 5）

• 安全性上：RAID 6 比 RAID 10 稍好

RAID 5 vs Synology SHR (1)

SHR 是 Synology 自家推出的自動化磁碟陣列 (RAID) 管理系統
有兩種模式，SHR 與 SHR2。SHR 主要容量計算方式與 RAID 5 一樣為 N-1，另外 SHR 的特色就是可以方便的擴容硬碟（參考：https://www.synology.com/zh-tw/knowledgebase/DSM/help/DSM/StorageManager/storage_pool_expand_add_disk），所以對於新手來說還是個相對友善許多的 RAID 格式

當然就會有許多人好奇既然 SHR 與 RAID 5 容量定義上相仿，那 Synology SHR 和 RAID 5 效能上誰勝誰負？

▼ 寫入速度的部分 SHR 比 RAID5 有著些許小優勢，不過其實差異算是不大

▼ 讀取速度的表現在 10GbE 測試之下 SHR 可以跑滿接近 950 MB/s 的表現，大檔（耗盡記憶體快取）的表現之下也有 500 MB/s 以上的表現，個人是覺得以測試結果而言 SHR 比 RAID 5 快了一些些，但表現上差距不大，選擇自己偏好的就可以了

• 容量上：SHR 與 RAID 5 相等
• 速度上：SHR 小勝 RAID 5
• 安全性上：相等
• 彈性上：SHR 可調整性 > RAID 5

RAID 6 vs Synology SHR-2

而 Synology SHR-2 與 RAID 6 則是相仿，都是以額外兩顆硬碟作為奇偶效驗訊息，容量計算通常為 N-2 顆硬碟大小，相對 SHR1、RAID 5 較為安全。

▼ 寫入速度的表現，兩者相當，SHR-2 有比 RAID 6 稍快一些但不明顯。

▼ 讀取速度則是兩者有明顯差異，RAID 6 比SHR-2 快上兩倍，另外以 CrystalDiskMark 測試也是有同樣趨勢（QD32 RAID 6：1084 MB/s vs SHR-2 814 MB/s），SHR2 在此種情境下會有讀取較慢的表現，不確定是不是官方這部分沒優化好。

▼ 實際傳輸大檔的表現在兩者之間的差異不明顯，差距都在 10 秒內，令人匪夷

• 容量上：SHR2 與 RAID 6 相等
• 速度上：依照不同情境有不同表現
• 安全性上：相等
• 彈性上：SHR2 可調整性 > RAID 6

RAID 5 vs RAID 6

RAID 5 與 RAID 6 一直是 4Bay 以上使用者相互比較的一個熱門重點，兩者最主要差異就是速度與安全性上多拿幾 Bay 空間來當作奇偶效驗信息的差異（另外也加入了類似的 SHR、SHR-2 作為參考）

▼ 實際測試 Blackmagic 的短暫寫入/讀取結果 RAID 6 竟然比 RAID 5 表現稍好，可能檔案媒體向性不同的寫入模式之下還是有不同的表現。但 AJA 64G 測試的部分則是符合我們既定的印象： RAID 5 的寫入速度優於 RAID 6、讀取也是 RAID 5 優於 RAID 6 。

▼ 因此我們研究一下實際傳檔的寫入表現，如果我們實際傳一個 40G 的藍光大檔，就可以體現出 RAID 5 速度上的優勢了。
RAID 5 在時間表現上僅需 80 多秒，但 RAID 6 比之多花了約 40% 的時間，最大速度僅有 460 MB/s 的表現。RAID 5 則能表現到 600 MB/s。

▼ 讀取部分在短暫寫入測試表現中會因為 NAS 記憶體快取的影響，表現上都差不多接近 10G 的極限值。但 AJA 64GB 大檔測試則是能測出真實速度，RAID 5 也如我們傳檔表現一樣比 RAID 6 多了 40 % 左右的速度（最右圖：465 MB/s vs. 320 MB/s）

• 容量上：RAID 5 比 RAID 6 多了 1 Bay 的空間可使用
• 速度上：RAID 5 小勝 RAID 6
• 安全性上：RAID 6 容錯程度比 RAID 5 多一槽機會

總而言之，這幾個比較組的研究著實有趣。比較意外的是 SHR-2 和 RAID 6 間的數據比較凌亂，看不出趨勢。其他都有如之前的觀念區是相仿。不過就結論老話一句，資料重要的話還是選 RAID 6 為主，要以速度為主可以考慮 RAID 0 或 RAID 5。