Netapp – Gracefully ShutDown

Zaman zaman veri merkezlerinde ups/elektrik kısaca altyapı çalışmaları veya veri merkezi testlerinden dolayı tüm sistemleri kapatmak gerekebiliyor. Verilerinizin güvenliğini sağlamak için bu tip durumlarda veri depolama sistemlerinin tamamen kapatılması söz konusu olabilir. NetApp storage sistemini düzgün bir şekilde kapatmak için aşağıda sıraladığım adımları takip edebilir yada bakım antlaşmanız varsa NetApp iş ortağı firmanızdan destek isteyebilirsiniz:

1. Kullanıcılarınızı bilgilendirin. Operasyon yapılacağı gün veya saatte eğer storage tarafında CIFS (NAS) hizmeti veriyorsanız, kullanıcılarınızın ortama bağlı çalışıyor olmasını istemezsiniz. Tüm client’ların kapalı olması tercihimdir ama bazen bu pek mümkün olmuyor.
2. FC, FCOE, NFS, veya ISCSI ile storage sisteminize bağlanan sunucuları kapatın.
3. Storage üzerinde bulunan NAS / SAN verinizi kesinlikle operasyona başlamadan önce yedekleyin.
   1. Sunucularınızın yedekleme işlemlerinin tamamlandığından emin olun.
   2. Snapmirror veya Snapvault kullanıyorsanız, hedef storage ‘a bağlanıp jobların durumunu kontrol edin.
      1. Snapmirror status veya snapvault status (Hangisini servisi kullanıyorsanız)
      2. Sonrasında aşağıdaki komutlarla jobları son kez manuel çalıştırın.

         Snapmirror update dest_vol_name
         

         Snapvault update dest_vol_name
         

      3. Eğer SAN volumelerinizi de snapmirror ile başka bir NetApp storage’a taşıyorsanız, ortamınızda SAN servisini kullanan sunucularınızı kapattıktan sonra (dataya erişimi sonlandırdıktan sonra) tekrar snapmirror joblarınızı çalıştırın ki, senkronize olmayan datanız kalmasın.
   3. Kısacası NetApp teknolojileri ile veya kullandığınız başka yedekleme ürünleri ile storage sistemini kapatmadan yedeklerinizi alın.
4. Autsupport gönderin. Autosupport ile NetApp ‘a storage sisteminizin durumunu, loglarını, performans ve donanım bilgisini göndermiş oluyorsunuz. Proactive Monitoring için kesinlikle açık olması gereken bir özelliktir.
   1. Storage sisteminize bağlanın
   2. Kapatacağınız tüm controller’larda aşağıdaki komutu çalıştırın.

      options autosupport.doit “DC_Maintenance_Started” — > Tırnak içerisine kısaca operasyon bilgisini yazın.

5. Eğer storage sisteminiz HA Pair yani clustered bir sistem ise (en az iki controller’dan oluşan NetApp cluster storage) aşağıdaki adımları takip edin ve cluster bağlantısını software seviyesinde kapatın ki takeover işlemi gerçekleşmesin.
   1. Her iki controller’da “cf status” komutu ile cluster servisinin durumunu kontrol edin. Çıktı aşağıdaki gibidir ve anlamı diğer controller takeover için hazır anlamına gelir.

      Controller Failover enabled, “Controller_Name” is up.
      

      VIA Interconnect is up (link up).
      

   2. CF servisini her iki controller da durdurmamız gerekiyor.

      cf disable
      

6. CIFS servisi kullanılıyorsa, aşağıdaki komutla ile CIFS client bağlantılarını sonlandırabilir ve servisi stop edebilirsiniz.
   1. cifs sessions — > bağlı client’ların listesini gösterir.
   2. cifs terminate -t 0 — > hemen CIFS oturumlarını sonlandırır ve servisi kapatır. CIFS hizmetini genelde vfiler seviyesinde verildiği için bu iki komutu “vfiler context vfiler_name” komutu ile virtual filer seviyesinde çalıştırın.
7. Ndmpd probe — >
   vfiler veya controller seviyesinde NDMP backup servisi kullanıyorsanız, bu komutla ile bağlantıları kontrol edin. NDMP bağlantıları shutdown öncesi sonlandırılmalıdır.
8. SAN switch kullanıyorsanız, bu aşamada onları da kapatmanızı tavsiye ederim.
9. Storage sisteminize SP (Service Processor) arayüzünden bağlanın ve “system console” komutuyla Ontap seviyesine geçin.
10. Evet, nihayet kapatma adımına geldik. halt komutu storage ‘ı kapatmanızı sağlar. Bu komut; NVRAM’deki datanın disklere yazılmasını, sonrasında işletim sisteminin (Ontap) düzgün kapanmasını sağlar. En sonunda ekran loader ‘a düşer. Bu komutu her iki controller da da çalıştırın.
11. Öncelikle fiziksel olarak storage controller cihazlarının elektriğini arkasındaki power supply üzerinde bulunan butonları sıfıra çekerek sonlandırın.
12. Sonrasında disk ünitelerinin yine arka tarafında bulunan power supply üzerindeki power butonlarını sıfıra çekerek elektriği kesebilirsiniz.
13. Dilerseniz, artık power kablolarını da sökebilirsiniz.

Yukarıda saydığım adımlar gerçekten bazıları için detay gelebilir, herkes cihazı aynı servislerle de kullanmıyor olabilir ama çoğunluğu düşünerek biraz adımları detaylandırdım. Siz yine de bu adımları gözden geçirerek ilerleyin, çünkü kapatacağınız cihaz bir server değil, storage!

Cihazı açmak istediğinizde bu adımları biraz sıralamada değişiklik yaparak tersten işletelim.

1. Elektrik kablolarını yeniden taktınız.
2. İlk önce disk ünitelerinin power düğmesine basın ve elektrik verdikten sonra en az 1 dakika bekleyin.
3. Controller’ları açmaya başlayın. Controller ünitelerinin üzerinde ünlem ışığı yanıp yanmadığını kontrol edin, ilk başta bir ünlem işareti olsa bile Ontap açıldıktan ve cf servisi ayağa kalktıktan sonra bu ikaz ışığı gidecektir. Eğer prosedürü sonuna kadar işlettiniz, ve ikaz ışığı hala yanıyorsa, o zaman loğlarda inceleme yapmanızı ve gerekirse NetApp ‘a case açmanızı tavsiye ederim.
4. SAN switchleriniz varsa bu aşamada onları açın. Network bağlantılarınızı kontrol edin.
5. Birkaç dakika beklediniz ve Controller ‘lar açıldı yine SP ‘den bağlandınız ve “system console” ile Ontap seviyesine eriştiniz. 7 mode bir ortamda aşağıdaki komutu çalıştırın.
   1. cf enable — > Cluster failover servisini çalıştırın, bu işlem her iki controller da da uygulamanıza gerek yok, birinci controller da bu işlem yapıldığında eğer sorun yoksa diğer controller da da servis otomatik aktif hale geçer.
      
   2. cf status — > Bu komut ile servisin durumunu kontrol edin. Komutun çıktısı aşağıdaki gibi olmalıdır.

      Controller Failover enabled, “Controller_Name” is up.
      

      VIA Interconnect is up (link up).
      

6. CIFS servisini kullanıyorsanız durumunu kontrol edin, Ontap bu servisi ve varsa vfiler’ı otomatik başlatacaktır.
   1. vfiler context vfiler_name — > eğer kullanıyorsanız ana controller’dan vfiler ‘a bağlanın.
   2. Cifs domaininfo — > bu komut size CIFS servisi ve domain bağlantıları hakkında bilgi verecektir.
7. İşletim sistemi loglarını kontrol edin. (/etc/log altında messages dosyası)
8. Storage sisteminize erişin sunucularını açın.
9. Storage erişimlerinizi kontrol edin paylaşım(CIFS) , export (NFS), lun (FC, ISCSi)
10. Multipathing kontrolü yapın.
    1. Mesela igroupları kontrol edin, yedekli bağlantı yaptıysanız vtic olarak gözükmeli.
    2. VMware ESXi kullanıyorsanız ve PSP round robin ise 4 path’ten storage taki lun’a erişiyor olmalı.
11. Snapmirror/Snapvault joblarınızı kontrol edin.
12. SAN switch ‘leriniz kontrol edin, portlarda CRC var mı?
13. Eğer sizin tarafta her şey tamam ise, NetApp ‘a da bir bilgi verin J

    options autosupport.doit “DC_Maintenance_Completed”

Kaynak : https://kb.netapp.com/support/s/article/what-is-the-procedure-for-graceful-shutdown-and-power-up-of-a-storage-system-during-scheduled-power-outage?language=en_US