Tendrías que demandar de la madre la pérdida de la patria potestad y obtener sentencia favorable para que quedarás como el único títular de ese derecho. Pero la demanda se tiene que fundar en una causal, no sólo por el hecho de que tu quieras, dependiendo de la legislación de tu estado, se podrá revisar si existe una causal que se actalice, pero te comento que es difícil ya que existe criterio de la corte que todos los niños menores de 12 años deben permancer al lado de su madre. Es decir, tu demanda se tiene que fundar en una causal importante, por ejemplo que la madre ejercer actos de violencia contra el menor por ejemplo, y desde luego, deberás probarlo.

Te recomiendo que consultes a un Abogado en materia familiar, para que vea las posiblidades de éxtito de tu caso.