En torno a ella y a su singular sobrenombre, que llama la atención inmediatamente del viajero, existen diversas leyendas: la mas extendida es la que cuenta que durante que aparecieron en ella los cadáveres de los hermanos Manzano, mandados decapitar por Doña María la Brava. Otra de las leyendas habla del asesinato de un sacerdote ocurrido en el siglo XIX. Aunque las teorías más plausibles sobre el origen de su nombre sea la existencia de cuatro calaveras, labradas en piedra que se pueden apreciar sobre la ménsula de la ventanas, o el hecho de llamarse esta calle durante el siglo XVIII “Calle de las muertes”.
Las ventanas y puertas, están rica y exquisitamente ornamentadas con tallas muy finas. Sobre su Balcón hay un busto que parece representar a don Alfonso de Fonseca, donde se puede leer la inscripción: Severísimo Fonseca Patriarcha Alexandrino.
