si, se puede, pero hay 2 maneras de jugar:
Por LAN, o por internet.
si tienes LAN puedes conectar las 2 computadoras por red, usando un cabe RJ45, que es una ficha que se parece a la de telefono, y se conecta uan con la otra, sin necesidad de internet.
y la otra, usando un router, puedes sacar 2 conexiones de 1 conexion a internet y usarlas para jugar en internet, aunque recomiendo mas la primera opcion