Hola fsigu
Te recomiendo que le configures a todos los ESXi al menos dos ntp servers externos así te ayudan a tener perfectamente sincronizados los horarios.
De esa forma debería mejorar la situación.
Ya con esa configración puedes o no deshabilitar para que las vms tomen la hora del host o lo hagan del time server de AD.
Saludos!
Diego Quintana