En 1738 se empieza a construir el Palacio Real de Madrid en el lugar donde los musulmanes colocaron el antiguo Alcázar con el objetivo estratégico de defender Toledo. Tiempo después se transformó en el Real Alcázar de Madrid, residencia de la familia real desde los Trastámara hasta Felipe V y Cortes del Reino hasta que un misterioso incendio en 1734 redujo la construcción a cenizas, así como los innumerables tesoros de la Corona. Es en este momento cuando se empieza a decir que está "maldito".
La leyenda cuenta que los cortesanos evitaban pasar por los jardines del Campo del Moro, ya que se decía que los fantasmas de los árabes que defendieron la plaza se aparecían como si aún reclamaran lo que fue de ellos.
También se comentaba que era una zona donde habitaban duendes a los que se había molestado con la construcción del edificio palaciego, por lo que se dedicaban a molestar al rey y a cambiar los muebles de sitio.
Otra leyenda de fantasmas cuenta que el duque de Alba se encontró en la capilla del Real Alcázar a una hermosa mujer que resultó ser la Parca que anunciaba la muerte del noble. Incluso el día del fatídico incendio de 1734 se atribuyó a las almas y duendes que vagaban por el Real Alcázar, ya que en el momento del suceso no había nadie en él.
Sin embargo, la leyenda más famosa es la que tiene como protagonista a Felippo Juvara, elegido por Felipe V para construir el Palacio Real. Según esta historia, el monarca mandó cortar las manos y arrancar los ojos al arquitecto para que no reprodujera en otro lugar su proyecto.
Juvara murió víctima de esta atrocidad, pero las crónicas cuentan que cuando el Palacio estaba siendo construido por otro arquitecto seres fantasmales trepaban por los muros y arrojaban las esculturas al vacío que caían sobre los trabajadores. El propio Felipe V solicitó realizar un exorcismo para acabar con las ánimas alentadas por Juvara.
Las estatuas que hay en el jardín de Sabatini y en los aledaños al Palacio se encuentran ahí debido a un terrorífico sueño que tuvo la reina Isabel de Farnesio, en la que un terremoto sacudía Madrid y las estatuas que había en lo alto del complejo se caían y acababan con su vida. Fueron guardadas en los sótanos hasta que Isabel II decidió que adornaran los jardines.
Por último, se atribuyó a un súcubo -duende maligno- que muchas jóvenes cortesanas que eran vírgenes aparecieran embarazadas de forma misteriosa. Se decía que iba tapado con una capa para no ser descubierto por los pasillos del Palacio Real. No obstante, en este caso parece que la historia del duende malvado era una tapadera para encubrir los desmanes que a menudo ocurrían en el palacio.