Si viviste en concubinato: sí existen derechos alimentarios para los concubinos, como lo dice el artículo siguiente del Código Civil para el Distrito Federal, seguramente habrá el equivalente en tu estado.

Artículo 291 Quáter.- El concubinato genera entre los concubinos derechos alimentarios y

sucesorios, independientemente de los demás derechos y obligaciones reconocidos en este código

o en otras leyes.

Por otra parte si él pierde la patria potestad, pierde los derechos sobre sus hijos pero no las obligaciones y entonces tu eres la única que decides, Como dices: no es adecuado que el padre pretenda tener derechos, y no cumpla con sus obligaciones como tal. Sin embargo es bueno que tomes en cuenta a tus hijos y que si les hace bien el verlo no se los impidas. No es bueno que se suscite una situacion de que el no tome responsabilidad económica porque tu no le prestas a tu hijo y que tu no le dejes llevarse a tu hijo de fin de semana porque el no este haciendo aportación económica, porque se convierte el cuento de nunca acabar.  Si tienes la posibilidad de razonar con el y llegar a un acuerdo que posteriormente formalices en el juzgado seria lo ideal.

Sea que hayas podido o no llegar a un acuerdo con el: cuando acudas al Defensor de Oficio (como te aconseja el colega), puedes plantearle la situación y proceder a atender tu asunto, tendrás la ventaja de que pondrás las cosas en órden por el bien tuyo, de tus hijos (y de paso del padre, que no le va a hacer mal responsabilizarse de lo que le toca).  

Te envío un saludo y te deseo éxito!