En estos casos suele ser más la configuración de la TV que otra cosa.
Lo primero, asegúrate de que el cable que estas usando es HDMI 2.0 o superior (eso veo que ya lo has hecho) pero también muy importante, que el HDMI en que lo estas conectando también lo es (hay muchas TVs tienen uno o 2 HDMI 2.0 y los demás son 1.4).
La configuración de la imagen normalmente afecta solo a la fuente en la que la estas configurando. Muy en resumen, cuando más postprocesado quites la experiencia jugable será mejor (menos input lag). Si prefiere mejorar la experiencia visual retoca la configuración a tu gusto. Como dicen por ahí comprueba que tienes tanto la TV como la PS4 configuradas con el mismo rango RGB, si no lo único que conseguirás es no tener gamas de grises-negros y veras cualquier zona oscura negra, sin más. Si buscas por internet tienes guías de como configurar una TV de forma adecuada.
Si tras todo eso la imagen sigue igual solo queda pensar que es por la configuración del juego. Yo ahora mismo también estoy con el The last of us 2 en una PS4 Pro y no tengo ese granulado, pero no recuerdo si quité algo en la configuración cuando lo empecé a jugar.