Rehber NVMe-oF Nedir?

Son yıllarda veri merkezleri için darboğaz haline gelen eski depolama protokollerine meydan okuyan depolama performansının nasıl hızlandığını deneyimlemeye devam ediyoruz. 100GbE'lik en son yapı hızının ve InfiniBand gibi yeni ağ oluşturma standartlarının kullanılmasına rağmen, bu yavaş ağ protokolü teknolojileri, flash aygıtın performansını kısıtlar, onu aygıtın içinde tutar ve kutuda izole eder. Bu yazıda, Geçici Olmayan Bellek Ekspresine (NVMe) hızlı bir şekilde göz atacağız. Ayrıca, modern depolama ağlarındaki darboğazları çözmek için geliştirilen yeni bir protokol spesifikasyonu olan Yapılar Üzerinden NVMe'ye (NVMe-oF) ve Yakınsanmış Ethernet Üzerinden RDMA Üzerinden NVMe'ye (RoCE Üzerinden NVMe) genel bir bakış sunuyoruz.



Bulut ve veri merkezlerinde her zaman düşük gecikme süresine ve yüksek verime olan talep nedeniyle, Yapılar üzerinden NVMe hakkında birçok tartışma yapılıyor. NVMe spesifikasyonu on yıldan daha az bir süredir mevcut ve NVMe-oF de nispeten yeni olduğundan, uygulaması ve işletmelere nasıl fayda sağladığı konusunda hala birçok yanlış anlaşılma var. Bu teknoloji sürekli olarak gelişmekte ve BT endüstrisinde yaygın olarak benimsenmektedir. NVMe-oF ile ilgili ürünleri kurumsal pazara sunan birkaç ağ satıcısını görmeye başlıyoruz. Bu nedenle gelişmiş veri merkezi teknolojilerine ayak uydurmak için NVMe-oF'nin ne olduğunu, yeteneklerini ve performans özelliklerini anlamak önemlidir. Ayrıca nasıl uygulanabileceği ve bu teknolojiyi farklı ve yeni çözümlerle nasıl birleştirebileceğimiz.

NVMe ve NVMe-oF​

Tamamen flaş diziler (AFA), eski depolamadan çok daha hızlı oldukları ve piyasada her zaman vaat edilen 1M IOPS'ye zahmetsizce ulaşabildikleri için yüksek performans çağrısına yanıt vermek üzere veri merkezlerinde ortaya çıktı. Ancak bu dizilerin çoğu, neredeyse eski bir depolama teknolojisi olan SATA SSD'yi kullanmaya devam etti. Bu depolama türü AHCI (Gelişmiş Ana Bilgisayar Denetleyici Arayüzü) komut protokolünü temel alır ve IDE'yi destekler. AHCI, gelişmiş flash tabanlı sürücüler için değil, esasen dönen diskler için tasarlandı. AHCI'li SATA III veri yolu yalnızca 600 MB/s'ye kadar veri aktarım hızına izin verdiğinden, bu SCSI tabanlı teknoloji günümüzün SSD'leri ve depolama dizisi denetleyicileri için bir darboğaz oluşturur.



SSD'lerin tam kapasitesinden yararlanmak için flaşı daha hızlı boşaltacak yeni teknolojiye ihtiyacımız vardı. NVMe, flash depolamanın (veya SSD'lerin) flash performansından gerçek anlamda yararlanmasını sağlayan bir özelliktir. Bu teknoloji ilk olarak 2014 yılında uygulama yanıt süresini iyileştirmek, yeni ve daha iyi yetenekler sunmak amacıyla tanıtıldı. NVMe katı hal sürücüsünün birçok form faktörü vardır ve en bilinenleri AIC (eklenti kartı), U.2, U.3 ve M.2'dir. NVMe SSD'ler, bilgisayar veya sunucudaki Çevresel Bileşen Ara Bağlantı Ekspres (PCIe) yüksek hızlı veri yolunu doğrudan ona bağlayarak kullanır. NVMe, CPU yükünü önemli ölçüde azaltır ve gecikmeyi azaltan işlemleri düzene sokar, Saniyedeki Giriş/Çıkış İşlemlerini (IOPS) ve verimi artırır. Örneğin NVMe SSD'ler 3.000 MB/sn'nin üzerinde yazma hızları sağlar. SATA SSD'lerle karşılaştırırsak bu, dönen disklerden 5 kat, yani 30 kat daha hızlı demektir.

Kuyruk Derinlikleri (QD), NVMe'nin AHCI'ye göre bir başka avantajıdır. ACHI ve SATA 32 (1 kuyruk ve 32 komut) kuyruk derinliğini işleyebilirken, NVMe 65K'ya kadar kuyruk derinliğini işleyebilir. Bunlar 65K kuyruklardır ve her kuyruk, kuyruk başına 65K'ya kadar komut tutabilir. Gecikme süresinin azaltılmasıyla birlikte bu, eşzamanlı istekleri işleyen yoğun sunucuların performansını artırır.

Tablo 2: Sıra Karşılaştırması

Ancak veri merkezleri için sorun, depolama ağı protokollerinde devam etmektedir. NVMe'nin yükselişine rağmen kazanımları her bir cihazla sınırlıdır. Ve gerçek şu ki, flash depolama ve AFA'lar gibi diğer kurumsal sınıf (pahalı) cihazların, kasa içindeki olağanüstü performansını izole etmesi amaçlanmamıştır. Bunun yerine, büyük paralel bilgisayar kümelerinde kullanılmaları ve bunları diğer sunucular ve depolama gibi ek ve birden fazla cihaza bağlamaları amaçlanıyor. Cihazların bu ara bağlantısı, anahtarlar, yönlendiriciler, protokol köprüleri, ağ geçidi cihazları ve kablolar dahil olmak üzere yapı, depolama ağı dediğimiz şeydir.

2016 yılında NVMe-oF endüstri standardı piyasaya sürüldü. Protokol spesifikasyonu, Ethernet, Fiber Kanal, RoCE veya InfiniBand kullanarak NVMe'nin inanılmaz performansını depolama dizisi denetleyicilerinden yapıya kadar genişletiyor. NVMe-oF, aktarım eşlemesi olarak NVMe tarafından kullanılan PCIe veri yolu yerine alternatif bir veri aktarım protokolü (yapılar üzerinden) kullanır. Yapılar, uç noktalar arasında paylaşılan hafıza olmadan mesaj gönderme ve alma konsepti üzerine kurulmuştur. NVMe yapı mesajı, kapsüllenmiş NVMe komutlarını ve yanıtlarını, bir veya daha fazla NVMe komutu veya yanıtı içeren mesaj tabanlı bir sisteme aktarır.




NVMe-oF'de hedefler, SCSI LUN'lara eşdeğer olan ad alanları olarak sunulur. NVMe-oF, ana bilgisayarların bu depolama hedefleriyle çok daha uzak mesafelerde iletişim kurmasına olanak tanırken gecikmeyi mikrosaniye (μs) düzeyinde son derece düşük tutar. Basitçe söylemek gerekirse, yapı gecikmesini önemli ölçüde artırmadan sistemler ve flash depolama arasında daha iyi performans elde ediyoruz. Bu düşük gecikme süresi kısmen daha önce bahsedilen NVMe kuyruk derinlikleri için mümkündür. NVMe-oF, NVMe, 65K ile aynı kuyrukları işleyebilir . Bu dikkat çekici sayı, NVMe-oF'nin, bu cihazların her biri için ayrı bir kuyruk kullanarak ana bilgisayarlar ve sürücüler arasında oldukça paralel bir mimari tasarlamasını mümkün kılıyor.

NVMe Yapı Taşımaları ​

NVMe tarafından desteklenen ve kullanılan üç tür yapı aktarımı, RDMA kullanan NVMe-oF, Fiber Kanal kullanan NVMe-oF ve TCP kullanan NVMe-oF'dir.

RDMA üzerinden NVMe-oF

Bu spesifikasyon, Uzaktan Doğrudan Bellek Erişimi'ni (RDMA) kullanır ve ağ üzerinden bilgisayar ile depolama aygıtları arasında veri ve belleğin aktarılmasına olanak tanır. RDMA, bir ağdaki iki bilgisayarın ana belleği arasında, her iki bilgisayarın işlemcisini, önbelleğini veya işletim sistemini etkilemeden bilgi alışverişinin bir yoludur. RDMA işletim sisteminden kaçındığı için genellikle ağ üzerinden veri aktarımında en hızlı ve en düşük maliyetli mekanizmadır.

RDMA üzerinden NVMe-oF, IP ağları üzerinden veri iletmek için TCP taşıma protokolünü kullanır Tipik RDMA uygulamaları arasında Sanal Arayüz Mimarisi, Yakınsanmış Ethernet üzerinden RDMA (RoCE), InfiniBand, Omni-Path ve iWARP bulunur. RoCE, InfiniBand ve iWARP şu anda en çok kullanılanlardır.

Fiber Kanal Üzerinden NVMe

Fiber Kanal (FC) üzerinden NVMe kullanma kombinasyonuna genellikle FC-NVMe, FC üzerinden NVMe veya bazen NVMe/FC adı verilir. Fiber Kanal, depolama dizileri ve sunucular arasında veri aktarımına yönelik güçlü bir protokoldür ve çoğu kurumsal SAN sistemi bunu kullanır. FC-NVMe'de komutlar FC çerçevelerinin içinde kapsüllenir. Standart FC kurallarına dayanır ve paylaşılan NVMe flaşına erişimi destekleyen standart FC Protokolüyle eşleşir. SCSI komutları FC çerçevelerinde kapsüllenmiştir; ancak bunları yorumlamak ve NVMe komutlarına çevirmek için performans cezası uygulanır.

TCP/IP üzerinden NVMe

Bu taşıma türü, NVMe-oF'deki en son gelişmelerden biridir. TCP üzerinden NVMe (Aktarım Kontrol Protokolü), verileri IP (Ethernet) ağları üzerinden aktarmak için NVMe-oF ve TCP aktarım protokolünü kullanır. NVMe, fiziksel aktarım olarak Ethernet üzerinden TCP datagramları içinde taşınır. RDMA ve Fiber Kanala sahip olmasına rağmen TCP muhtemelen daha ucuz ve daha esnek bir alternatif sağlar. Ek olarak, Ethernet kullanan RoCE ile karşılaştırıldığında NVMe/TCP, G/Ç için mesajlaşma semantiğini kullandıklarından daha çok FC-NVMe gibi performans gösterir.

NVMe-oF'nin RDMA, Fiber Kanal veya TCP ile kullanılması, eksiksiz bir uçtan uca NVMe depolama çözümü sağlar. Bu çözümler, NVMe aracılığıyla sağlanan çok düşük gecikme süresini korurken, oldukça yüksek performans sağlar.

Yakınsanmış Ethernet (RoCE) üzerinden RDMA üzerinden NVMe​

RDMA protokolleri arasında RoCE öne çıkıyor. RDMA ve NVMe-oF'nin ne olduğunu biliyoruz ve artık Ethernet ağı üzerinden RDMA desteği olan Yakınsanmış Ethernet'e (CE) sahibiz. CE, Veri Merkezi Köprüleme ve Veri Merkezi Ethernet olarak da bilinen gelişmiş bir Ethernet sürümü gibidir. InfiniBand aktarım paketini Ethernet üzerinden kapsüller. Çözümü, ağ doymuş olduğunda bile sıfır kaybı garantileyen Bağlantı Seviyesi Akış Kontrol mekanizmasını sağlar. RoCE protokolü, önceki iWARP protokolüne göre daha düşük gecikme sürelerine izin verir.

RoCE v1 ve RoCE v2 olmak üzere iki RoCE sürümü vardır. RoCE v1, aynı Ethernet yayın etki alanındaki iki ana bilgisayar arasında iletişime izin veren bir Ethernet katman 2 (bağlantı) protokolüdür. Bu nedenle alt ağlar arasında yönlendirme yapamaz. Yeni seçenek, UDP/IPv4 veya UDP/IPv6 protokolünün üstünde yer alan bir protokol olan RoCE v2'dir. RoCE v2, bir Ethernet katman 3 (internet) protokolüdür; bu, paketlerinin yönlendirilebileceği anlamına gelir. RoCE v2 için yazılım desteği halen gelişmektedir. Mellanox OFED 2.3 veya üzeri, RoCE v2 desteğine ve ayrıca Linux Çekirdeği v4.5'e sahiptir.

VMware için RoCE üzerinden NVMe-oF desteği​

VMware, NVMe-oF kullanarak paylaşılan NVMe depolama desteği ekledi. Harici bağlantı için, Fiber Kanal üzerinden NVMe ve RDMA üzerinden NVMe, vSphere 7.0'da desteklenir. ESXi ana bilgisayarları Yakınsanmış Ethernet v2 (RoCE v2) üzerinden RDMA kullanabilir. RDMA kullanarak NVMe depolamayı etkinleştirmek ve bu depolamaya erişmek için ESXi ana bilgisayarı, ana makinenizde bir R-NIC bağdaştırıcısı ve RDMA üzerinden bir SW NVMe depolama bağdaştırıcısı kullanır. NVMe depolama keşfi için kullanılacak her iki adaptörde de yapılandırmanın yapılandırılması gerekir.

Hedefler, NVMe-oF kullanılırken aktif/aktif veya asimetrik erişim modlarında (ALUA) bir ana bilgisayara ad alanları olarak sunulur. Bu, ESXi ana bilgisayarlarının sunulan ad alanlarını keşfetmesine ve kullanmasına olanak tanır. ESXi, dahili olarak SCSI hedefleri olarak NVMe-oF hedeflerini taklit eder ve bunları aktif/aktif SCSI hedefleri veya örtülü SCSI ALUA hedefleri olarak sunar.




RDMA üzerinden NVMe gereksinimleri:

• RDMA (RoCE v2) aktarımını destekleyen NVMe dizisi
• Uyumlu ESXi ana bilgisayarı
• Kayıpsız bir ağı destekleyen Ethernet anahtarları.
• RoCE v2'yi destekleyen ağ bağdaştırıcısı
• RDMA adaptörü üzerinden SW NVMe
• NVMe denetleyicisi
• RoCE bugün ZTR'yi (Zero Touch RoCE) destekleyen kayıplı yapılar üzerinde çalışıyor veya yalnızca katman 2'de veya hem katman 2'de hem de katman 3'te (PFC kullanarak) kayıpsız bilgi trafiği için yapılandırılmış bir ağ gerektiriyor

Bir ESXi ana bilgisayarında NVMe-oF kurulumu yaparken takip edilmesi gereken birkaç uygulama vardır.

• Aynı ad alanına erişmek için aktarım türlerini karıştırmayın.
• Tüm etkin yolların ana bilgisayara sunulduğundan emin olun.
• NMP kullanılmıyor/desteklenmiyor; bunun yerine NVMe hedefleri için HPP (Yüksek Performanslı Eklenti) kullanılır.
• NVMe hedeflerinize özel bağlantılara, VM çekirdeklerine ve RDMA bağdaştırıcılarına sahip olmanız gerekir.
• Özel katman 3 VLAN veya katman 2 bağlantısı
• Sınırlar:
  • Ad alanları-32
  • Yollar=128 (bir ana makinede maksimum 4 yol/ad alanı)

Bulut hizmetlerindeki verilere bağımlı olan insan sayısı arttıkça, veri merkezlerinde daha hızlı arka uç depolamaya yönelik talep de artıyor. NVMe, flash cihazlarla arayüz oluşturmanın daha yeni bir yoludur ve NVMe-oF ile birlikte teknolojiler, harici bağlantı seçeneklerini geliştirmektedir. NVMe-oF ve onun farklı aktarım türleri, veri depolamanın geleceği olarak tanınmaya başlıyor. Bu depolama aygıtları ve aygıtları, birbirine bağlı yapıdaki her milisaniyenin önemli olması nedeniyle veri merkezlerinin kalbi olarak kabul edilir. NVMe teknolojisi, bellek eşlemeli giriş/çıkış komutlarını azaltır ve daha yüksek performans ve daha düşük gecikme süresi için işletim sistemi aygıt sürücülerini barındırır.

NVMe, düşük gecikme süresi ve yüksek verimle çoklu görev hızı nedeniyle giderek daha popüler hale geldi. NVMe aynı zamanda kişisel bilgisayarlarda Video Düzenleme, Oyun ve diğer çözümleri geliştirmek için kullanılırken, asıl fayda NVMe-oF aracılığıyla kurumlarda görülüyor. BT, Yapay Zeka ve Makine Öğrenimi gibi sektörler ilerlemeye devam ediyor ve gelişmiş performansa olan talep artmaya devam ediyor. Artık VMware ve Mellanox gibi yazılım ve ağ satıcılarının kurumsal pazara NVMe-oF ile ilgili daha fazla ürün ve çözüm sunduğunu görmek olağan bir durum. Modern ve son derece paralel bilgisayar kümeleriyle, verilerimizi ne kadar hızlı işleyebilir ve onlara erişebilirsek, işimiz açısından o kadar değerli olurlar.

Paylaşım için teşekkürler