Estado de Referencia: Baja California

Hola, quisiera que me orientes con el siguiente caso.  Antes que nada le doy algunos datos relevantes.

Tengo doble nacionaldad (incluyendo la mexicana)

Me encuentro en el extranjero

Mi hijo ya fue registardo en mi pais (Panama) Las leyes permite que con el acta de nacimiento del menor emitida en el pais de origen del menor y solo con el padre de nacionalidad panameña quede inscrito el nacimiento del menor.

Tengo un hijo en comun con un mexicano, estamos separados desde hace como 7 años, nuca hubo matrimonio, eramos concubinos.  En un inicio iviamos en la misma ciudad, cuando nos separamos el nino se fue a viir conmigo y el lo veia frecuentemente de hecho compartiamos responsabilidades de cuidados mas nunca monetarias.  Po razones d trabajo y buscando mejor futuro me movi de estado, necesite dejar al nino con el, siempre q iba a la ciudad, cada mes y medio lo veia y le enviaba dienro cada semana o quincena.  pasaron 2 años asi y yo me estabilize un poco y me fui a vivir n tiempo a Estados UNidos (un año) y osteriormente a Tijuana durante 2 años.  Ahora meencuentro en Panama, muy estable, con un trabajo muy solido.  Mi hijo esta conmigo desde hace años (mencione que solo estuvo con el 2 años) .  El padre no lo llama, no le envia dinero, incluso he tratado de que aunque no sea obligado tenga una relacion y el aun asi no la tiene aunque tiene los medios economicos y todos mis datos para localizame, inclusive mantengo contacto con familiares suyos y al igual m hijo.  Cuando ya vivia conmigo el nino en ocasones fue a visitarlo a su casa algunos dias, nunca he estado cerada a la posibilidad de que se frecuentes, pero como le mencione no es solo economica si no afectivamente que necesita la presencia.  Ahora yo quiero viajar y llevar a mi hijo de vacaciones y no puedo porque necesito saca un pasaporte y estar solicitandole a el notas de autorizacion para moverme a cualquier parte y no me parece justo que tenga esos derechos si no tiene ninguna obligacion con su hijo, en ocasiones he tratado de hablarle pero esto me ha generado disgustos sin mencionar las cuentas de psiquitaria infantil y psicologo que debo pagar por que mi nino se deprime cuando el le promte cosas y no las cumple..  Que debo hacer legalmente para que el pierda oficialmente el derecho de patria potestad y como debo hacerlo si no estoy en el pais.