Dicen las leyendas que el héroe griego Hércules, cuando llegó a Toledo, construyó un palacio descrito por unos y por otros como un edificio maravilloso que daba gloria a la ciudad y en el que se supone que guardó un gran tesoro. Más tarde cerró sus puertas dejando a diez guardianes, a los que entregó la llave del candado. Dando orden expresa a estos que cuando muriera alguno fuera remplazado por otro.

Así pasó el tiempo y se cogió la costumbre que los reyes posteriores pusieran cada uno un nuevo candado en la puerta de este palacio, como reconocimiento de la disposición de su creador, cuyo objetivo era que nadie entrara en él para evitar posibles males.
Llegaban los candados a número de veinticuatro en el tiempo que empezó a reinar el último monarca visigodo, don Rodrigo, al que los jueces y clérigos de la ciudad le insistieron a que pusiera su candado como tradicionalmente habían hecho sus antepasados. Este rey no sólo se negó a ello sino que quiso entrar en el recinto, intrigado enormemente por lo que había dentro del recinto pudiera encontrar. Por todo el mundo fue advertido que no lo hiciera, y que si lo que buscaba eran tesoros ellos se lo conseguirían para él, pero don Rodrigo hizo caso omiso de las súplicas, pidiendo las llaves de los candados que ya estaban colocados. Al notar la tardanza pensó que era desobedecido y uno por uno fue arrancando los candados de las puertas hasta que penetró en las puertas del palacio.

Lo que por fuera parecía tener forma cilíndrica en su interior era cuadrado, formado por cuatro estancias. Una de ellas era blanca como la nieve; otra negra como la pez; otra verde como la esmeralda y la cuarta roja como la sangre. Al llegar a la tercera sala se encontró un arca finamente labrada, con un candado que al final también violentó, con gran deseo de descubrir el gran secreto que contenía. Cara de asombro tanto en el monarca como en los que le acompañaban al descubrir que en su interior una tela blanca que tenía pintados hombres con arcos, flechas, lanzas y pendones, montados sobre caballos y todos ellos vestidos a la usanza árabe. Tenía también una inscripción o leyenda que rezaba así: <<Cuando este paño fuere extendido y aparecieran esas figuras, hombres que andarán así vestidos conquistarán España y se harán de ella señores>>.
Al rey le preocupo bastante lo allí visto, y arrepentido dejó todo como estaba antes de entrar, ordenando a los que allí se encontraban que no comentaran nada de lo sucedido.

Cuenta la leyenda que al poco un águila gigante bajó con un tizón encendido en el pico y lo depositó en el palacio y que aleteando fuertemente sobre él produjo tal incendio que al poco dicho palacio se hallaba reducido a cenizas y que éstas fueron tomadas por otras aves, que con sus alas las esparcieron por toda la península.
En el año 711 Toledo era conquistado por los musulmanes tal como predijo la tela blanca.