La patria potestad es conjunta, así que no tienes porque tramitar algo que ya tienes.

Si quieres promover la pérdida de la patria potestad del padre, tendrás que acreditar que éste no se hace cargo de la alimentación del menor y/o que su presencia es perjuiciosa para el menor.

Con los datos que aportas dudo mucho que éste pierda la patria potestad, pero intentalo...

Asístete de Lic. en Derecho especialista en materia familiar y si no tienes recursos para contratar uno particular, acude a la Defensoría Jurídica de tu Estado para que te asignen uno.

Suerte!!