Depende de algunos factores.
El Core 0 es un lastre para algunos programas o juegos que usan un solo núcleo debido a que es de donde chupan todos los recursos principalmente, sobretodo Windows, con desactivar el núcleo 0 del admin para un programa o juego se mejora bastante el rendimiento.
Algunos juegos están más optimizados para usar 2 cores que 3 o más, por eso es posible que rinda mejor con solo dos núcleos, eso pasa por ejemplo con el Source Engine (L4D o Portal) el desactivar el multi core va mucho mejor que tenerlo activado.
Por otro lado el tema del turbo como dice
@Darumo , mi procesador es un i5 3570, solo los primeros núcleos alcanzan los 3.8GHz, el tercero llega hasta 3.7 y el cuarto hasta 3.6, si los 4 están activos siempre se mantiene a 3.6GHz como máximo. Entonces como antes si el juego está diseñado para dos núcleos o como el Source engine se desactiva la velocidad será mayor.
Luego están casos como dice
@indalocbr1000 que puedes configurar desde el juego, para ser exactos todos los juegos que usan Unreal Engine tienen los archivos .INI que permiten cambiar ajustes del juego y entre ellos permiten cambiar ajustes de uso de HW.