ab = 4
b = 4 /a
a · (4/a) = 4
A partir de aquí te lo sacas de la manga:
a^2 + 4 = 4a
a^2 -4a + 4 = 0
Solución única:
a=2
b=4/2 = 2
__________________________________________
Y lo que deberías hacer es:
-3a+b= -11
-3a+4/a=-11
-3a^2+11a+4=0
y a = -1/3 ó a = 4 y de ahí vuelves a arriba donde tenías que a·b= 4 y tenemos que:
a = -1/3 => b = -12
a=4 => b=1
¡¡Saludos!!
Editado: Que ponía 1 = 4 en lugar de a = 4