Un fallo informático a nivel mundial del servidor Microsoft afecta a Aena y Repsol en España

@AMSWORLD No, aplicar el fix no requiere mucho; bueno sí, un equipo de técnicos dedicados que vayan servidor por servidor a aplicar el fix porque no se puede hacer de manera distribuida dado que la máquina no levanta servicios. A nivel de operación y proyecto es un desastre se mire por donde se mire, y a las pruebas me remito por los niveles de afectación mundial y la lentitud en la restauración. Hoy en mi empresa, virtualmente, no se ha trabajado más que en esto o no a causa de, y eso que más o menos nos ha entrado mitigado aunque ha tocado algunas cosas críticas.

No se ve fácil la ¨solución¨ cuando tienes docenas de servidores sin responder y cientos de usuarios sin servicios y/o sin poder arrancar sus PCs. No es un problema de complejidad, si no de accesibilidad y magnitud.

Muchos vamos a estar repasando de arriba abajo nuestra política de backups después de esto. [+risas]
@Ahrin en qué va a cambiar la política de backups?
lo que tiene que cambiar es que el componente de seguridad si se encuentra corrupto o que no puede conectar o lo que sea, simplemente no se inicie en vez de tirar un BSOD
@AMSWORLD

Al margen de que una empresa grande tiene cientos de servidores y que es relativamente tedioso aplicar esa solución, se te están olvidando los equipos cliente.

Piensa que a los servidores los técnicos tienen acceso aunque no arranquen, pero a equipos cliente, salvo que tengan VPRO activo, no.

Tú imagínate lo "sencillo" que sería arreglar 1000 equipos en los cuales solo es posible la remediación con intervención manual físicamente. Salvo que montaras puestos de técnicos por los que fueran pasando los usuarios afectados haciendo cola para que les arreglaran su equipo, lo más probable será que se opte por una asistencia telefónica a ciegas. Pues piensa en darle las instrucciones por teléfono a un usuario poco avispado y a explicarle cómo meter la clave de Bitlocker de 24 caracteres y más tarde la password de un usuario local administrador, llena de caracteres extraños, para que pueda borrar el fichero. Conozco algún caso en el que la remediación tardó una hora guiando al usuario por teléfono.

@GXY

Puede ser que en Windows tuvieran que tener más "cintura" para no dejar de arrancar por mucho que les jodan un componente esencial, pero, por diseño eso puede no ser tan sencillo. No sé, imagínate un coche, a lo mejor podría diseñarse para que arranque con un método alternativo si se rompe el botón, si hay fallo eléctrico, si no hay gasolina... pero si lo que falta es una pieza crítica del motor pues, chungo.

Pues aquí algo parecido, si la pieza del SO que inutiliza el antivirus es esencial para arrancar el SO pues no hay mucho que hacer. Seguramente es una posibilidad no contemplada (que falle o falte ese componente).

Lo que sí que no me explico es cómo pudo distribuirse esa actualización a tantas empresas tan rápidamente. Salvo que sea un parche crítico urgentísimo para resolver un problema ya existente, siempre tienen que hacerlo de forma pilotada y por fases. Joder, que con enviar el componente problemático a unos pocos equipos y reiniciarlos ya se habrían dado cuenta. Tiene toda la pinta de que se probó en una muestra de equipos no válida. Y no hablemos ya de lo que supone que desde las empresas no tengan control para marcar el ritmo de las actualizaciones del antivirus.

Todo este problema va a hacer replantearse muchas cosas y volver en cierta medida al "on premise" y a sistemas en los que se pueda tocar y tener el control.
El día que nos quedemos si dinero en metálico...
Vavadi escribió:Todo este problema va a hacer replantearse muchas cosas y volver en cierta medida al "on premise" y a sistemas en los que se pueda tocar y tener el control.

Ni por asomo se va a volver a eso, eso era caótico a niveles exagerados, además que a nivel de operatividad hoy en día es literalmente imposible.
Las actualizaciones de seguridad y de SO y las de productos de seguridad van a seguir siendo automatizadas porque así es como deben ser.
vicodina escribió:
Vavadi escribió:Todo este problema va a hacer replantearse muchas cosas y volver en cierta medida al "on premise" y a sistemas en los que se pueda tocar y tener el control.

Ni por asomo se va a volver a eso, eso era caótico a niveles exagerados, además que a nivel de operatividad hoy en día es literalmente imposible.
Las actualizaciones de seguridad y de SO y las de productos de seguridad van a seguir siendo automatizadas porque así es como deben ser.


:-?

¿Qué tiene que ver que las actualizaciones de seguridad y de SO sean automatizadas con lo que he dicho?

¿Y con el párrafo que he puesto? ¿Sabes lo que es un sistema on premise?
@josem138 básicamente, que haya, porque oh sorpresa, en mis auditorías informan que todo está con backups pero durante las tareas de disaster recovery me llega que muchos no tienen ni snapshots... un teórico rollback de 5 minutos se convirtió en una reconstrucción de servidores que tomó horas. Eso cuando el backup no tenía más de 5-6 meses de antiguedad y hubiese sido peor solucionar las inconsistencias.

Como responsable de seguridad, me tocó la polla, sinceramente. Fallo nuestro por confiar en operación sin evidence, pero en fin, el lessons learned va a ser gore y el lunes va a haber reuniones con tono duro en muchas empresas.
Vavadi escribió:
vicodina escribió:
Vavadi escribió:Todo este problema va a hacer replantearse muchas cosas y volver en cierta medida al "on premise" y a sistemas en los que se pueda tocar y tener el control.

Ni por asomo se va a volver a eso, eso era caótico a niveles exagerados, además que a nivel de operatividad hoy en día es literalmente imposible.
Las actualizaciones de seguridad y de SO y las de productos de seguridad van a seguir siendo automatizadas porque así es como deben ser.


:-?

¿Qué tiene que ver que las actualizaciones de seguridad y de SO sean automatizadas con lo que he dicho?

¿Y con el párrafo que he puesto? ¿Sabes lo que es un sistema on premise?


Tener a los sistemas on premise no habría evitado lo de ayer.
Patchanka escribió:
Vavadi escribió:
vicodina escribió:Ni por asomo se va a volver a eso, eso era caótico a niveles exagerados, además que a nivel de operatividad hoy en día es literalmente imposible.
Las actualizaciones de seguridad y de SO y las de productos de seguridad van a seguir siendo automatizadas porque así es como deben ser.


:-?

¿Qué tiene que ver que las actualizaciones de seguridad y de SO sean automatizadas con lo que he dicho?

¿Y con el párrafo que he puesto? ¿Sabes lo que es un sistema on premise?


Tener a los sistemas on premise no habría evitado lo de ayer.


Evidentemente, pero la diferencia entre on premise y en la nube es el control que tienes sobre los sistemas en caso de desastre.

Cuando ocurre un rollo de estos las empresas toman más consciencia de que tener TODO en la nube hace que pierdas el control sobre los sistemas. Te aseguro que muchísimas empresas se están replanteando sus estrategias y reculando un poco en su idea de llevar todo a la nube, por lo menos los críticos.

Ayer mismamente sé de casos de equipos cliente virtuales que estaban en la nube que fue imposible recuperarlos, porque no existía ninguna posibilidad de entrar en el sistema, y hubo que rehacerlos, perdiendo los usuarios todo lo que tenían instalado.

Proporcionaron un procedimiento extremadamente complejo pero ni siquiera funcionaba. Imagínate que hubieran sido servidores.

A lo que me refiero es a que en los sistemas críticos tienes que tener el control tú y muchas empresas están en esa línea. ¿Nube? Sí, por supuesto, pero lo importante mejor en casa.

Por último, respecto a lo que causó directamente el problema, me parece acojonante que la puesta en explotación de una actualización del EDR se distribuya de forma descontrolada a todos los equipos.

Igual que a ninguna empresa del mundo seria se le ocurriría distribuir de forma automática descontrolada el parche mensual de Windows (siempre se hace por fases seleccionando muestras heterogéneas de equipos en las primeras fases o servidores de entornos de test), no entiendo cómo permitieron ese modelo con Crowdstrike.
chachin2007 escribió:El día que nos quedemos si dinero en metálico...

Cambiaremos leche por huevos.
61 respuestas
1, 2