el disco duro, o una cualquier unidad IDE(lector, grabadora, unidad zip, etc..), pueden ir en modo Master o Esclavo (slave) y las placas normalmente tienen 2 conectores IDE por tanto puedes poner cuatro dispositivos IDE en un ordenador, 2 en un cable y 2 en el otro, el disco que tiene el sistema operativo suele ir en el primer cable en men la modo maestro, dado que el disco duro en la PS2 va en modo maestro también solo nos queda el segundo cable para no tener que tocar el jumper.
Resumiendo, debes poner el disco duro de la PS2 en el segundo cable, quitando el dispositivo que tengas en modo Maestro en es cable, normalmente la grabadora, si tienes.
Si solo tienes un cable, más facil, compras un segundo cable y conectas ahi el disco de PS2.