vCenter Upgrade – vSphere Web Client Failed!

vCenter appliance kullanıyorum ve kısa bir süre önce 6.5 U2c versiyonuna update ettim. Update ettikten sonra tüm servisler aktif oldu, fakat vSphere Web Client (Flash) servisi bir türlü çalışmadı. İlk başta hepimizin yaptığı gibi sunucuyu komple kapattım, yeniden başlattım. Sonuç aynı. Servisi manuel çalıştırmak için aşağıdaki komutu denedim, sonuç aynı. Aldığım hatayı da aşağıdaki görebilirsiniz. Bu arada HTML5 client sorunsuz açılmıştı.

503 Service Unavailable (Failed to connect to endpoint: [N7Vmacore4Http16LocalServiceSpecE:0x00007feecc0203d0]_serverNamespace=/vpshere-client action=Allow_port=9090)

  • Web browser da Flash client a erişmeye çalıştığımda yukarıdaki hata ile karşılaşıyordum.

************************************************************************

root@vcenter [ /usr/lib/vmware-virgo/server/plugins ]# service-control –status –all

Running:

applmgmt lwsmd pschealth vmafdd vmcad vmdird vmdnsd vmonapi vmware-cis-license vmware-cm vmware-content-library vmware-eam vmware-perfcharts vmware-psc-client vmware-rhttpproxy vmware-sca vmware-sps vmware-statsmonitor vmware-sts-idmd vmware-stsd vmware-updatemgr vmware-vapi-endpoint vmware-vmon vmware-vpostgres vmware-vpxd vmware-vpxd-svcs vmware-vsan-health vmware-vsm vsphere-ui

Stopped:

vmcam vmware-imagebuilder vmware-mbcs vmware-netdumper vmware-rbd-watchdog vmware-vcha vsphere-client

************************************************************************

root@vcenter [ /usr/lib/vmware-virgo/server/plugins ]# service-control –start vsphere-client

Perform start operation. vmon_profile=None, svc_names=[‘vsphere-client’], include_coreossvcs=False, include_leafossvcs=False

2018-11-03T17:23:41.052Z Service vsphere-client state STOPPED

Error executing start on service vsphere-client. Details {

“resolution”: null,

“detail”: [

{

“args”: [

“vsphere-client”

],

“id”: “install.ciscommon.service.failstart”,

“localized”: “An error occurred while starting service ‘vsphere-client'”,

“translatable”: “An error occurred while starting service ‘%(0)s'”

}

],

“componentKey”: null,

“problemId”: null

}

Service-control failed. Error {

“resolution”: null,

“detail”: [

{

“args”: [

“vsphere-client”

],

“id”: “install.ciscommon.service.failstart”,

“localized”: “An error occurred while starting service ‘vsphere-client'”,

“translatable”: “An error occurred while starting service ‘%(0)s'”

}

],

“componentKey”: null,

“problemId”: null

}

************************************************************************

  • Log dosyalarına baktım, ilk bakışta pek bir şey çıkartamadım. Sonrasında bilgilerine çok güvendiğim ve her zaman sorunumu çözmem de bana destek olan VMware Türkiye ekibine case açtım ve sorunu analiz etmeye başladık.

************************************************************************

root@vcenter [ /var/log/vmware/vpxd ]# ls -l

root@vcenter [ /var/log/vmware/vpxd ]# grep warning vpxd-301.log (vpdx file numarası sizde değişik olabilir)

[ /var/log/vmware/vsphere-client ]# ls –l

root@ vcenter [ /var/log/vmware/vsphere-client ]# grep error vsphere-client-gc.log.0.current

root@ vcenter [ /var/log/vmware/vsphere-client/logs ]# less eventlog.log

root@ vcenter [ /var/log/vmware/vsphere-client/logs ]# grep WARN eventlog.log

root@ vcenter [ /var/log/vmware/vsphere-client/logs ]# cd /usr/lib/vmware-vsphere-client/server/

root@ vcenter [ /usr/lib/vmware-vsphere-client/server ]# cd work

root@ vcenter [ /usr/lib/vmware-vsphere-client/server/work ]# ls –l

root@ vcenter [ /usr/lib/vmware-vsphere-client/server/work ]# cat 1541273327676.log (en son veri yazılan log dosyası)

************************************************************************

  • Yukarıdaki komutları çalıştırıp sorunu araştırırken en son komutun çıktısında aşağıdaki hata loglarını gördük.

************************************************************************

!ENTRY org.eclipse.equinox.ds 4 0 2018-11-03 22:28:50.723

!MESSAGE [SCR] Unexpected exception occurred!

!STACK 0

java.lang.IllegalStateException: BundleContext is no longer valid

at org.eclipse.osgi.framework.internal.core.BundleContextImpl.checkValid(BundleContextImpl.java:931)

at org.eclipse.osgi.framework.internal.core.BundleContextImpl.getServiceReferences(BundleContextImpl.java:498)

at org.eclipse.equinox.internal.ds.Reference.hasProviders(Reference.java:127)

at org.eclipse.equinox.internal.ds.Resolver.selectNewlyUnsatisfied(Resolver.java:600)

at org.eclipse.equinox.internal.ds.Resolver.getEligible(Resolver.java:364)

at org.eclipse.equinox.internal.ds.SCRManager.serviceChanged(SCRManager.java:222)

at org.eclipse.osgi.internal.serviceregistry.FilteredServiceListener.serviceChanged(FilteredServiceListener.java:107)

at org.eclipse.osgi.framework.internal.core.BundleContextImpl.dispatchEvent(BundleContextImpl.java:861)

at org.eclipse.osgi.framework.eventmgr.EventManager.dispatchEvent(EventManager.java:230)

at org.eclipse.osgi.framework.eventmgr.ListenerQueue.dispatchEventSynchronous(ListenerQueue.java:148)

…………………..

at java.lang.Thread.run(Thread.java:748)

!ENTRY org.eclipse.equinox.ds 4 0 2018-11-03 22:28:50.724

!MESSAGE [SCR] Unexpected exception occurred!

!STACK 0

java.lang.IllegalStateException: BundleContext is no longer valid

………………..

************************************************************************

  • Yukarıdaki log çıktısından hareketle JAVA dosyalarının corrupt (bozuk) olduğunu düşündük ve log dosyasındaki Java component ini internetten indirip vCenter içerisine (aşağıdaki komutla conf dosyasında paketin bulunduğu yeri tespit edip) upload ettik. Sonra tekrar vsphere-client servisini çalıştırmayı denedik, sonuç yine aynı. Servis çalışmıyor.

    Not: Elinizde vCenter ın update öncesi hali varsa bu paketi backup tan da alabilirsiniz.

************************************************************************

root@ vcenter [ /usr/lib/vmware-vsphere-client/server/wrapper/conf ]# cat wrapper.conf

root@ vcenter [ /usr/lib/vmware-vsphere-client/server/wrapper/conf ]# cd /usr/lib/vmware-vsphere-client/server

root@vcenter [ /usr/lib/vmware-vsphere-client/server ]# mv work work_tlg Sorunun çözümü!

root@s152m0000015 [ /usr/lib/vmware-vsphere-client/server ]# ls -l

total 676

drwxr-x— 6 vsphere-client root 4096 Nov 2 13:45 configuration

-rwxr—– 1 vsphere-client root 664740 Aug 6 12:58 open_source_licenses.txt

drwxr-x— 2 vsphere-client users 4096 Nov 2 12:54 pickup

drwxr-x— 3 vsphere-client root 4096 Oct 9 2017 repository

drwxr-xr-x 6 vsphere-client users 4096 Nov 3 22:51 work_tlg

drwxr-x— 5 vsphere-client root 4096 Oct 9 2017 wrapper

************************************************************************

  • Biraz mola verdikten sonra tekrar sorunu internette araştırmaya devam ettim, bu arada farklı vCenter versiyonlarında benzer yaşanan bir sorunu adresleyen bir KB gözüme çarptı. Link aşağıdadır. Bu KB içerisinde bahsedildiği gibi cache bilgilerini tutan “work” klasörünü rename etmem öneriliyordu ve söyleneni yaptım.
  • Sonra vpshere-client servisini tekrar çalıştırmayı denedim ve sonuç “service started”.

************************************************************************

root@ vcenter [ /usr/lib/vmware-vsphere-client/server ]# service-control –start vsphere-client

Perform start operation. vmon_profile=None, svc_names=[‘vsphere-client’], include_coreossvcs=False, include_leafossvcs=False

2018-11-03T19:55:04.409Z Service vsphere-client state STOPPED

Successfully started service vsphere-client

************************************************************************

Çözüm : https://kb.vmware.com/s/article/2150318

Atalarımız ne demiş “Arayan mevlasını da bulur, Belasını da!” Biz log dosyalarının içine baktık, aldığımız bazı aksiyonlarla tüm vCenter ı patlatabilirdik ya da ayağa kaldırabilirdik. Biz doğru log dosyasından araştırmaya devam edip, çözüme ulaştık. Ancak komple vCenter ı da indirebilirdik, dolayısıyla bu tip işler öncesi kesinlikle backup alın, hatta bir değişiklik yapmadan elinizde vCenter ın da bir snapshot ı olsun.

Bu arada her zaman ekip arkadaşım gibi gördüğüm VMware Türkiye Support Ekibi, size de teşekkürler.

tolgaasik

Share

Leave a Reply

Your email address will not be published. Required fields are marked *

Post comment