Proxmox VE Cluster Mimarisi, Kurulumu ve Canlı Taşıma (Live Migration)
1. Proxmox VE Cluster Mimarisi ve Çalışma Prensipleri
Kurumsal veri merkezlerinde sanallaştırma altyapılarının kesintisiz çalışması, iş sürekliliği ve felaket kurtarma (Disaster Recovery) stratejilerinin temel yapı taşını oluşturur. Proxmox Virtual Environment (VE) Cluster mimarisi, müstakil fiziksel sunucuların işlemci, bellek, depolama ve ağ kaynaklarını kümelenmiş tek bir çatı altında birleştirerek yüksek erişilebilirlik (High Availability - HA), dinamik yük dengeleme ve ölçeklenebilir merkezi yönetim olanağı sunan kurumsal bir veri merkezi platformudur. Geleneksel mimarilerdeki yapay sınırları ve tekil arıza noktalarını bertaraf eden bu mimari, kritik iş yüklerinin donanım arızalarından etkilenmeden hizmet vermeye devam etmesini ve veri merkezi kaynaklarının maksimum verimlilikle optimize edilmesini garanti altına alır.
Multi-Master Mimarisi ve Merkezi Yönetim Geleneksel sanallaştırma çözümlerinde sıklıkla karşılaşılan ve yapının kalbinde tekil bir yönetim sunucusu (single-point-of-failure) barındıran mimariler, bu yönetim sunucusunun çökmesi durumunda tüm altyapının denetimsiz kalmasına ve yönetimsel felaketlere yol açar. Proxmox VE, bu mimari riski tamamen ortadan kaldırmak amacıyla özgün bir Multi-Master (Çoklu Ana Düğüm) mimarisi kullanır.
Tekilleştirilmiş Yönetim Arayüzü: Cluster bünyesindeki her bir nod (fiziksel sunucu), sistemin tamamını yönetebilecek tam yetkili bir kontrol düzlemi (control plane) barındırır. Yöneticiler, ExtJS JavaScript çatısı üzerine inşa edilmiş web tabanlı grafiksel kullanıcı arayüzü (GUI) veya Unix/PowerShell uyumlu gelişmiş komut satırı araçları (pvecm, qm, pct, pvesm vb.) üzerinden cluster genelindeki tüm bileşenleri (KVM sanal makineleri, LXC konteynerları, depolama havuzları ve ağ yapılandırmaları) görüntüleyebilir ve operasyonel süreçleri yönetebilir.
Merkezi Kaynak Denetimi ve REST API Entegrasyonu: Proxmox VE, RESTful bir API mimarisi kullanır ve birincil veri formatı olarak JSON standartlarını benimser. Tüm API uç noktaları JSON Schema kullanılarak biçimsel olarak tanımlanmıştır. Bu mimari yapı, Ansible, Terraform veya kurumsal özelleştirilmiş barındırma (hosting) otomasyon sistemleri gibi üçüncü taraf orkestrasyon araçlarının sanallaştırma ortamına milisaniyeler düzeyinde ve güvenli bir şekilde entegre olmasını sağlar.
Hata Toleransı ve Yönetim Sürekliliği: Cluster bünyesindeki herhangi bir nodun fiziksel arıza veya ağ kesintisi nedeniyle devre dışı kalması durumunda, yönetim mekanizması kesinlikle kesintiye uğramaz. Kalan sağlıklı nodlar üzerinden küme geneli yönetim fonksiyonları ve otomasyon süreçleri eksiksiz bir şekilde sürdürülür.
Proxmox Cluster File System (pmxcfs) Teknolojisi Proxmox VE Cluster mimarisinin dağıtık konfigürasyon senkronizasyonunu sağlayan temel bileşen, Proxmox Cluster File System (pmxcfs) teknolojisidir. pmxcfs, bellek içi (in-memory) çalışan ve veritabanı tabanlı olan kümelenmiş özel bir dosya sistemidir. Sanal makine ve konteyner konfigürasyon dosyaları, ağ ayarları, güvenlik duvarı kuralları ve cluster durum bilgileri disk üzerinde kalıcı bir SQLite veritabanında saklanır. pmxcfs, bu veritabanını /etc/pve dizini altına standart bir POSIX dosya sistemi gibi bağlar (mount eder). Sistem performansını ve I/O yanıt sürelerini artırmak adına, veritabanının gerçek zamanlı bir kopyası sistem belleğinde (RAM) tutulur. Bu bellek içi alan maksimum 128 MiB boyutunda sınırlandırılmıştır. Metin tabanlı konfigürasyon yapısı sayesinde 128 MiB'lık bu RAM kopyası, binlerce sanal makine ve konteynerin konfigürasyon verisini depolamak için fazlasıyla yeterlidir. pmxcfs, bellek üzerindeki veri değişikliklerini Corosync haberleşme katmanını kullanarak cluster'daki tüm nodlara gerçek zamanlı olarak çoğaltır (replicate eder). Böylece tüm nodlar üzerindeki /etc/pve konfigürasyon ağacı milisaniyeler düzeyinde tutarlı tutulur.
Corosync Haberleşme Protokolü ve Quorum (Oylama) : Cluster nodlarının birbiriyle sürekli iletişim halinde kalması, durum bilgilerinin paylaşılması ve sistem bütünlüğünün doğrulanması Corosync küme haberleşme protokolü üzerinden gerçekleştirilir.
Durum Bilgisi ve Kalp Atışı (Heartbeat): Corosync, nodlar arası kalp atışı sinyallerini ve pmxcfs veritabanı güncellemelerini taşır. Cluster üyelerinin aktiflik durumunu anlık olarak izleyerek cluster üyeliğini (cluster membership) güncel tutar.
Quorum Mantığı: Cluster'ın idari kararlar alabilmesi, pmxcfs üzerindeki yazma işlemlerini sürdürebilmesi ve HA mekanizmalarının işletilebilmesi için quorum ilkesi esastır. Bir cluster'ın kararlı durumda kalabilmesi için aktif nodların sahip olduğu toplam oy sayısının, tanımlanmış toplam küme oyunun kesin yarıdan fazlasına (%50 + 1) ulaşması gerekir.
Ağ Bölünmesi (Split-Brain) Engelleme: Quorum mekanizması, ağ kesintisi nedeniyle nodların gruplara ayrılması durumunda (Split-Brain), oy çoğunluğunu kaybeden izole nodların yazma işlemlerini engeller ve yetkisiz sanal makine başlatma çakışmalarının önüne geçerek veri bütünlüğünü teminat altına alır. Cluster mimarisinin sağladığı bu sağlam teknik temel, kurumsal işletmelere sunduğu somut avantajlara ve yüksek kullanılabilirlik özelliklerine akıcı ve güvenilir bir zemin hazırlar.
2. Temel Özellikler ve Kurumsal Avantajlar
Proxmox VE, kurumsal bilgi teknolojileri altyapılarını modernize ederken Toplam Sahip Olma Maliyetini (TCO) belirgin biçimde düşüren bütünleşik bir mimari sunar. Açık kaynak kodlu yapısı lisans bağımlılığını ortadan kaldırırken, KVM hipervizör ve LXC konteyner teknolojilerinin aynı platformda entegre sunulması yüksek performanslı ve esnek bir operasyonel ortam sağlar.
Yüksek Erişilebilirlik (HA) ve Otomatik Failover Proxmox VE HA mimarisi, fiziksel donanım veya yazılım düzeyinde meydana gelen arızalarda insan müdahalesine gerek kalmaksızın servislerin sürekliliğini sağlar. Bileşenler ve Görev Dağılımı: HA yapısı, pve-ha-crm (Cluster Resource Manager) ve pve-ha-lrm (Local Resource Manager) daemon bileşenleri tarafından yönetilir. pve-ha-crm cluster düzeyinde lider nod üzerinde çalışarak kaynak dağıtım kararlarını alırken, her nodda çalışan pve-ha-lrm yerel servislerin durumunu kontrol eder ve CRM'den gelen talimatları uygular.
Watchdog ve Fencing: Bir nod Corosync seviyesinde yanıt vermeyi kestiğinde, donanımsal veya yazılımsal Watchdog mekanizması devreye girer. Yanıt vermeyen nodun paylaşımlı depolama alanlarına yetkisiz erişim sağlayarak veriyi bozmasını önlemek amacıyla sistem kendisini güvenli bir şekilde çitler (fencing - nodun kendini derhal yeniden başlatması veya kapatması).
Otomatik Failover: Çitlenen nod üzerindeki HA tanımlı sanal makineler ve konteynerlar, Cluster Resource Manager tarafından algılanarak kümedeki sağlıklı nodlar üzerinde otomatik olarak yeniden başlatılır (failover).
Dağıtık ve Esnek Depolama Havuzları Entegrasyonu: Proxmox VE, hem yerel blok/dosya tabanlı depolama teknolojilerini hem de kurumsal ağ depolama sistemlerini geniş bir yelpazede destekler. Temel yerel dosya depolama gereksinimleri
Proxmox Backup Server: Artımlı Yedekleme, Deduplikasyon, İstemci Tarafı Şifreleme, Hızlı Geri Yükleme, Kurumsal seviyede entegre yedekleme ve felaket kurtarma, Hyper-converged Infrastructure (HCI) mimarisinde Ceph ve ZFS entegrasyonu, veri bütünlüğü (data corruption protection) açısından stratejik bir katma değer sunar. ZFS, blok seviyesinde kontrol toplamları (checksums) tutarak sessiz veri bozulmalarını (silent data corruption) otomatik olarak algılar ve onarır (self-healing). Ceph ise veriyi cluster nodları arasında blok bazında replike ederek fiziksel disk veya sunucu kayıplarında sıfır veri kaybı (zero data loss) garantisi sağlar. Dahili vzdump aracı, çalışan KVM sanal makinelerinin live backup sürecinde sparse file (seyrek dosya) tespiti ve out-of-order data (sırasız veri) optimizasyonu uygulayarak I/O yükünü minimize eder. Proxmox Backup Server (PBS) entegrasyonu sağlandığında ise blok düzeyinde veri tekilleştirme (deduplication), yalnızca değişen blokların aktarıldığı artımlı (incremental) yedekleme ve istemci tarafı (client-side) AES-256 şifreleme imkanları elde edilir. Yazılımsal ve mimari avantajların veri merkezinde eksiksiz ve kararlı bir şekilde çalışabilmesi için, alt katmandaki fiziksel donanım ve ağ topolojisinin doğru boyutlandırılması şarttır.
3.Proxmox VE Cluster Kurulumu
PVE 1 & PVE 2 (Node 1 ve Node 2) Sanallaştırma sunucularıarasında doğrudan bir cluster bağlantısı (Direct Cluster Link / Corosync) kurularak yüksek erişilebilirlik (HA) ve senkronizasyon altyapısının nasıl kurulduğu anlatılacaktır. Birinci NIC'ler L2/L3 Switch'e bağlanır (192.168.1.x / LAN trafiği ). İkinci NIC'ler ise doğrudan bir ethernet kablosuyla birbirine bağlanır (10.0.0.x / Corosync Cluster trafiği ) İkinci NIC'leri brigde yaparak IP Adresleri tanımlanarak işlemlere başlanır.
Yeni Ağ Arayüzü (Linux Bridge) Ekleme
Proxmox VE yönetici panelinde pve1 nodu seçilerek Network menüsüne gidilir. Üst menüde yer alan Create butonuna tıklanıp Linux Bridge seçeneği tıklanarak cluster haberleşmesi için yeni bir sanal ağ arayüzü oluşturma adımı başlatılır.
Açılan pencerede yeni sanal ağ köprüsüne isim (vmbr1) verilir. IPv4/CIDR alanına cluster içi / özel ağ haberleşmesinde kullanılacak olan statik IP adresi (10.0.0.1/24) tanımlanır ve Autostart kutucuğu işaretlenerek Create butonu ile ağ arayüzü kaydedilir.
Aynı işlemler cluster'a dahil olacak diğer sunucu içinde planlanan IP adresleri verilerek tekrarlanır.
Cluster (Küme) Yönetim Ekranına Erişim
Sol ağaç menüsünden Datacenter seçilir. Cluster sekmesinde henüz bir clsuter tanımlanmadığı (Standalone node) görülmektedir. Yeni bir Proxmox kümesi başlatmak için Create Cluster butonuna tıklanır.
Cluster tanımlama ve yedekli ağ yapılandırması Cluster Name alanına küme adı (Cluster1) yazılır. Cluster içi Corosync haberleşmesinin kesintisiz çalışması için yedekli ağ (failover) yapılandırması yapılır: Link 0 ana haberleşme ağı (10.0.0.1), Link 1 ise yedek ağ (192.168.1.101) olarak atanır. Create butonuna basılarak küme oluşturulur.
Cluster oluşturma işleminin tamamlanması görev izleyici penceresinde (Task viewer), Corosync güvenlik anahtarlarının oluşturulduğu (/etc/corosync/authkey) ve servislerin başarıyla başlatıldığı doğrulanır. İşlem TASK OK çıktısı ile sonlanır.
Cluster katılım bilgisi (Join Information) ekranı Cluster başarıyla kurulduktan sonra Datacenter Cluster alanında pve1 düğümünün ekli olduğu görülür. Diğer Proxmox sunucularını bu kümeye dahil edebilmek için Join Information butonuna tıklanır.
Bağlantı bilgilerinin ve fingerprint kopyalanması açılan pencerede sunucunun IP adresi, SSL sertifika parmak izi (Fingerprint) ve şifrelenmiş katılım kodu (Join Information) görüntülenir. Copy Information butonuna basılarak bu kod hafızaya kopyalanır.
İkinci sunucuda (pve2) Cluster katılma adımı Cluster eklenecek olan ikinci Proxmox sunucusunun (pve2) arayüzüne girilir. Datacenter Cluster sekmesinden Join Cluster butonuna tıklanır.
Cluster katılım bilgilerinin girilmesi ve eşleştirme kopyalanan katılım kodu Information alanına yapıştırılır. Birinci sunucunun root parolası girildikten sonra ağ hatları (Link 0: 10.0.0.2, Link 1: 192.168.1.102) eşleştirilir ve Join 'Cluster1' butonuna basılarak katılım işlemi başlatılır.
Cluster oluşumunun genel sistem ekranında doğrulanması işlem tamamlandığında sol menüde pve1 ve pve2 düğümlerinin aynı Datacenter (Cluster1) altında birleştiği ve kaynak kullanım durumlarının (RAM, CPU, Disk) tek bir paneldem izlenebildiği görülür.
Cluster nodelarının durumu Datacenter Cluster ekranında pve1 (ID: 1) ve pve2 (ID: 2) sunucularının aktif oy hakkına (Votes: 1) sahip olduğu ve belirlenen IP hatları üzerinden sorunsuz haberleştiği doğrulanır.
Sanal makine canlı taşıma (Migrate) işleminin başlatılması pve1 düğümü üzerinde çalışan 100 (LinuxOS1) ID'li sanal makineye sağ tıklanır ve açık durumdayken başka bir düğüme aktarmak için Migrate seçeneği tıklanır.
Taşıma öncesi uyarı ve engel kontrolü (CD/DVD Uyarısı) taşıma penceresinde hedef node olarak pve2 seçilir. Kırmızı simge ile gösterilen "Cannot migrate VM with local CD/DVD" uyarısı, sanal makineye yerel bir ISO imajı takılı olduğu için canlı taşımanın yapılamayacağını bildirir. Sanal makine ayarlarından CD/DVD kaldıralarak migration yapılabilir.
Sanal makinenin taşıma onayı takılı ISO imajı sanal makineden çıkarıldıktan sonra engelleyici uyarı ortadan kalkar. Yalnızca disk transferinin zaman alabileceğini belirten sarı uyarı kalır. Migrate butonuna basılarak canlı taşıma başlatılır.
Canlı taşıma (Live Migration) ve disk senkronizasyon süreci görev penceresinde, sanal makinenin disk bloğunun (vm-100-disk-0) QEMU NBD depolama yansıtması (mirroring) ile arka planda kesintisiz olarak pve2 düğümüne aktarıldığı anlık olarak izlenir.
Canlı taşımanın kesintisiz tamamlanması RAM durumu ve canlı çalışma verileri milisaniyeler düzeyindeki bir duraklama (downtime limit: 100 ms) ile yeni düğüme aktarılır. Eski düğümdeki disk temizlenir ve migration finished successfully mesajı ile işlem tamamlanır.
Taşınan sanal makinenin yeni nodeda çalışır durumda doğrulanması sol menüde 100 (LinuxOS1) sanal makinesinin artık pve2 düğümü altında çalıştığı görülür. Console sekmesinden bağlanan sanal makinenin herhangi bir kesinti veya yeniden başlama olmadan çalışmaya devam ettiği doğrulanır.
