Hola buenas tardes, te comeento rápidamente que, para que el padre de tu hijo pueda reclamar derechos sobre el, primero debe haberlo reconocido esto es darle su apellido, para que el te pueda reclamar el regimen de visitas y convivencias si es que se separan, tambien para poder salir el bebe del pais sera necesario la utorizacion de el. 

Legalmente no te lo puede quitar pues como madre tu ejerceras la patria potestad compartida con el, pero si tendras la guarda y custodia definitiva.

Patra evitarte estos problemas, solo puede suceder si el padre de tu hijo no lo  reconoce y tu no haces nada por reclamarle la paternidad. De igual forma si no quieres que lo reconozca el puede reclamar la paternidad del bebe si lodesea. 

Espero haberte ayudado Saludos