con un poder tu hermano no es propietario legal del inmueble, los poderes expiran cuando el representado muere, asi que si es un poder como tu dices entonces solo tenia poder para promover y representarlo ante algunas diligencias, si tu padre hizo testamento (y el testamento le llamas poder) para el, entonces el debera promover juicio sucesorio testamentario, y no podra desalojarte hasta  la abjudicacion del mismo, si tu padre no otorgo testamento entonces tu puedes iniciar un juicio sucesorio intestamentario por los bienes de tu extinto padre,tendrias que incluir a los hermanos que viven y si los que murieron dejaron matrimonio o hijos,

si no hay testamento ,aunque haya poder,( que ya no prevalece) nadie te puede desalojar de ese predio,

salvo si los demas inician juicio sucesorio intestamentario y decidan abjudicarse  la fraccion correspondiente a ellos pero como tu serias tambien heredero te tocaria parte de el mismo,

despues de cierto tiempo y acreditando ciertas pruebas se puede prescribir, aunque esta propiedad era de tu padre y entre familiares no procede la prescripcion salvo algunos casos