No, a menos que usted incurra en una causal grave, como sería en inducirloa a un vicio, prostituirlos, o de alguna forma, atentar en contra de su sano desarrollo físico, moral, emocional o psicológico que diera motivos para que un Juez, previo el juicio respectivo, la condenara a perderla.

En su caso, es evidente que no se encuentra en ninguna de esas hipótesis, por lo que le recomiendo que, a la brevedad posible, se asista de un abogado especialista en Derecho Familiar, para que promueve judicialmente se le conceda a usted la guardia y custodia de sus menores hijos y para que su padre les otorgue una pensión, de acuerdo a sus posibilidades económicas, que sea bastante y suficiente para satisfacer las necesidades alimentarias de los menores; por no eche el consejo en saco roto, dado que en tanto  no exista una resolución judicial que le conceda a usted la guarda y custodia, ya sea en forma provisional o definitiva, el padre podrá llevárselos consigo y negarse a restituirselos, sin que incurra en alguna conducta ilícita.