Wenn ein ESX-Host einer zu großen Last ausgesetzt ist (zu hohe Speichernutzung des Gastsysteme, hohe Swapfilenutztung usw…) kann es zu einem Absturz diverses Daemons kommen. Sollte dies der Fall sein (VC oder VI kann sich nicht mehr auf den Host connecten, die Gäste laufen aber noch und sind z.b. per RDP erreichbar), muss der Speicher für die Service Console erhöht werden.

Unter ESX 3.x geht das unter:
Configuration – Memory. Dort den Speicher von standardmäßig 272MB auf 800MB erhöhen:

ESX 3.x - Raising the memory usage for the Service Console

Die Einstellungen werden erst nach einem Reboot des entsprechenden ESX-Servers übernommen:

Changing the maximum RAM-Size will take place after reboot.

Ergänzend sei noch dieser Artikel der VMWare Knowledge Base zu nennen, der beschreibt, wie man einen ESX-Host neu startet.
In den Maintenance Mode schalten und rebooten sollte aber kein all zu großes Problem sein