Hola Buenas tardes

Antes que nada, es necesario que pienses hasta donde  realmente quieres llevar las cosas, porque por lo que leo, tiene poco que tu relación se deterioró y no nos indicas si estas casada con el, con quien vives, de que vives, te paga pensión, o mayores datos con los que te pudiera orientar sobre realmente qué hacer, pero de lo que especificamente preguntas sobre que hacer para "quitarle el derecho" a que se lo lleve, hay dos opciones, una o lo denuncias penalmente por sustracción de menores en grado de tentativa o amenzas; o dos, ante el Juez de lo familiar le demandas la pérdida de la patria potestad, o que se establezcan las visitas y convivencias, mismas que naturalmente por su edad, está lactando y yo creo que ningún juez  podría ordenar que se lo lleve, al contrario, ordenaría que las visitas fueran en tu casa y en un horario breve ( es un bebe y necesita lactar, dormir, etc,) y finalmente si los papás de el quieren ver al bebé está en sus manos reclamarlo al Juez familiar.

Te recomiendo que te asesores en el DIF de tu estado o en la defensoria de oficio del Tribunal Superior de Justicia de tu estado, pero mas que nada es importante que comprendas que por mucho que sea el padre de tu hijo no puede hacer lo que quiera y DEBE respetarte ademas trata de hablar tranquilamente con el para que COMPRENDA que un hijo no es un juguete y no "puede" quitartelo,  y si lo hace lo denuncias.

Saludos