El hecho de que el menor conviva personalmente con su padre no es un derecho de este si no de aquel y tu no debes de privar a tu hijo de ese derecho. ademas por lo que comentas el ejerce la patria potestad y la custodia tambien sobre el menor ya que nunca se te ha otorgado exclusivamente a ti en una sentencia. Y si como lo especifica el forista que me antecede es muy dificil que puedas sacar al menor del pais sin el consentimiento del padre asi que mejor te recomiendo que se lo vayas planteando.