En las regex (expresiones regulares) los paréntesis sólo los debes poner si:
a) Aparecen fícamente en el texto
b) Necesitas agrupar una parte de la expresión por algún motivo. Por ejemplo, que se repita varias veces... \(hola\)\{2\} o (hola){2}, según.
El que haya que escaparlos en a) y no en b) (o viceversa) depende de la sintaxis. Habría que ver en el caso de procmail cuál es que no lo recuerdo.
Como en tu caso ni aparecían ni querías agrupar nada, no tenías que incluirlos. De todos modos tu solución:
* ^Subject:.*Your.*order
tiene el inconveniente que al incluir ".*" entre "Your" y "order" admites que pueda haber cualquier cosa entre ellos. Si siempre hay un espacio te bastaría:
* ^Subject:.*Your order
Y si no quires pillarte los dedos:
* ^Subject:.*Your[ \t]+order
es decir, cualquier combinación de espacios o tabulaciones entre "Your" y "order". Si lo usas, ten cuidado: a lo mejor hay que escapar el "+": \+.
Por cierto, Ferdy ¿qué usas en vez de procmail?