Es el típico problema de optimización de bachillerato. Estos problemas son todos iguales, con los datos puedes sacar un par de ecuaciones; en este caso, tienes que el área = a·b y que los 12 metros de alambre que vallan el perímetro están distribuidos de la siguiente forma 2a+b=12. Entonces despejas una de las dos variables y la sustituyen en la fórmula del área (que es lo que estas optimizando, estas buscando el área máxima). Así te queda que area = a·(12-2a). Eso es una función que te da el área en función de la medida de uno de los lados.
Ahora tienes que buscar el máximo de esa función. Derivas, igualas a 0 y compruebas que es máximo mirando la segunda derivada o estudiando la monotonía de la función en los intervalos.
Un saludo!