No hay que confundir la "Custodia" con la "Patria Potestad" porque esa ya la tiene.

Ahora al no haber matrimonio no existe la infidelidad... y aunque la hubiera, las pruebas que tiene tu hermano, las consiguio de una manera ilegal (al tomar el celular para revisarlo sin autorizacion de la propietaria)

Si tiene duda de la paternidad de sus hijos, puede promover el desconocimiento de la paternidad, a traves de una prueba de ADN, que obviamente tendra que pagar tú hermano.

Ahora, con lo que escribes no veo ninguna causa probable  para quitarle la custodia de los hijos a la exconcubina de tu hermano