Creo que es un Celeron monocore de 64bit de generación anterior incluso a los Coreduo, pongas lo que le pongas no va a hacer mucha diferencia en rendimiento (debe ir arrastrándose con casi todo lo que sea programas modernos o navegar actualmente), y ram tiene para meter cualquier S.O. si es que tiene 4gb como dices, pero lo que si te digo es que al menos el S.O. debería ser de 64bit si es que de verdad quieres usar toda la ram y no verte limitado en 3gb y algo. (sí, has estado usando menos ram de la que tienes, en 32bit no se puede manejar 4gb de RAM en su totalidad)
El tema de drivers no se que inconvenientes podría tener.
A día de hoy que nos movemos mucho por internet estos equipos monocore y sin ayuda son un ladrillo hormigón intentando nadar. Así que realmente la mejor mejora es lamentablemente una jubilación aunque sea para poner una placa cpu y ram de segunda mano que el CPU sea al menos un dualcore viejo tipo Core2duo o Athlon II como mínimo.
Ya se que no soy muy esperanzador, pero es que le vas a echar un rato muy grande para reinstalarlo, y aunque una instalación limpia siempre se moverá algo mejor que un Windows guarreado por unos años, milagro no va a hacer.
Yo tengo un Netbook con Atom 330 dualcore, bastante mejor CPU en rendimiento que ese Celeron, tiene gráfica Nvidia ION con aceleración de vídeo h264, y le tengo un linux Manjaro XFCE y filtrado de anuncios por archivo host, y le cuesta moverse por internet.