Yo creo que te estás yendo a los extremos. Ni siquiere mencionas que referencias dieron. Regularmente las preguntas que se hacen al pedir referencias de un candidato son:

¿Trabajó Fulanito de tal en su empresa?

¿Que puesto tenía?

¿Por qué motivo dejó de laborar?

¿Como era su comportamiento?

¿Tuvo alguna vez algún problema con él?

¿Era puntual?

y la mas importante y que muchas veces lo decide todo:

Si Fulanito le volviera a pedir empleo, ¿Lo volvería a contratar?.

Si te fijas con dos o tres respuestas que no te favorezcan ya se puede considerar como mala referencia, sobre todo la última. Si el ex-patrón dice: "Lo volvería a contratar con mucho gusto" es muy distinto a "No lo contrataría".

Aquí no podemos hablar de difamación pues dudo que alguien haya dicho que te robaste algo, o que cometiste un fraude, únicamente dicen la impresión que como trabajador les dejaste ya que como verás nunca se pregunta directamente "oiga, y no se robó nada?"...

Por lo regular cuando uno "sale bien" de una empresa, habla con su jefe de rh o su ex-jefe cuando ha metido uno solicitudes en otros trabajos para avisarles que seguramente les van a llamar para referencias y que si no tienen problema por contestar las preguntas, ahí te das cuenta si habrá algún problema. Por otro lado, seguramente te dieron tu carta de recomendación así que si de verdad hubieran dado malas referencias no te expiden tal carta.