High KAVg Value for IOPs limited VM (disable mclock)

Geçenlerde disk basina IOPs limit uyguladığımız yüksek IO üreten sanal makinelerde vSphere 6.5 upgrade sonrası performans sorunu gözlemledik. Sorunu analiz ettik, fakat bir yere varamadık, çünkü yaptığımız tüm konfigürasyon normal görünüyordu. ESXi host larımızda IO paket size 64 KB olarak set edilmişti. VMware, NetApp için gerekli uyumluluk ayarları yapılmıştı. (Best Practices). Sunucu (HBA, BIOS,vs) firmware – driver yazılımları günceldi. Ancak esxtop ile baktığımızda yüksek Kernel latency gorunuyordu.

En sonunda VMware Support ekibine sorunu bildirdik, yapılan analiz sonucunda sorunun vSphere 5.5 ile birlikte gelen mclock I/O scheduler dan kaynaklandığını tespit ettik. Mclock özelliğini kapatıp, daha önceden kullanılan default I/O scheduler a geçtik ve I/O intensive olan buyuk SAP database ler çalıştıran VM lerde sorun bir anda düzeldi. KAVg değerleri normale döndü.

Mclock I/O Scheduler ı kapatıp, default I/O scheduler a geçmek için aşağıdaki adımları takip etmelisiniz:

• ESXi host a SSH üzerinden putty ile bağlanın.
• Komutu çalıştırın.

  esxcli system settings advanced list -o /Disk/SchedulerWithReservation
  

• Int Value :1 değeri mclock özelliğinin açık olduğunu gösteriyor.

Path: /Disk/SchedulerWithReservation

     Type: integer

     Int Value: 1

     Default Int Value: 1

     Min Value: 0

     Max Value: 1

     String Value:

     Default String Value:

     Valid Characters:

     Description: Disk IO scheduler (0:default 1:mclock)

• Mclock kapatmak için aşağıdaki komutu çalıştırın. ESXi host u reboot etmenize gerek yok. Hatta VM ler çalışırken de bu değişikliği yaptık ve bir sorun olmadı.

esxcli system settings advanced set -o /Disk/SchedulerWithReservation -i=0

Mclock özelliğini kapatıp, default I/O scheduler ‘ı aktif ettikten sonra IOPs limit uyguladığınız VM lerde performansın bir anda düzeldiğini göreceksiniz. Sonucu esxtop ile host seviyesinde de KAVg değerinin düştüğünü gözlemleyip, teyit edebilirsiniz.

Herkesin ortamında bu sorun olacak diye bir şey yok, çünkü ortamlarımız, kullandığımız donanımlar, yaptığımız ayarlar farklılıklar gösterebilir. Benim ortamımda yaşanılan sorunu yukarıdaki şekilde çözdük, umarım sizin de işinize yarar.