El OC es a base de prueba y error, ir subiendo el multiplicador de la CPU hasta alcanzar la frecuencia máxima que puedas tener con unas temperaturas y voltajes más o menos contenidos, hay infinidad de guías en internet, es cuestión de paciencia y leer, probar, etc...
Las diferencias del R5 2600/2600X son las frecuencias de serie de uno y otro, y el disipador de serie que es mejor también en el R5 2600X.
Son muy serios, y algo muy importante también, en Amazon no te ofrecen el montaje del equipo, en Aussar sí, y por sólo 28€.
La diferencia entre las placas que pones son fundamentalmente el factor de forma, la B450 es ATX y la B450M es micro-ATX, y también puede que la ATX tenga más slots, conectores, etc... en la página web de cada una puedes ver sus características, es cuestión de que te las leas, también puede que el modelo ATX tenga mejor disipación, más fases de alimentación, etc...
Yo iría por la ATX si te lo puedes permitir, que tampoco hay gran diferencia en precio entre una y otra.
Saludos.