L’edificio, che si sviluppava su tre piani d’uso, era aperto alla luce solo negli ordini superiori dove era circondato da una serie di eleganti finestre “bifore” arricchite da grandi arcate intrecciate tra di loro di derivazione normanna. L’aspetto esteriore del palazzo del conte di Adernò era quello di una reggia fortificata, che metteva in evidenza la straordinaria imponenza del suo impianto. In questo lato fa bella mostra di sè lo splendido portale gotico su cui si trova una leggiadra edicoletta classica dove campeggiano ancora gli stemmi di casa Sclafani , oltre a quelli della città di Palermo, della Sicilia e del Regno d’Aragona.
Alla morte di Matteo Sclafani, avvenuta nel 1354, la famiglia non ebbe un erede maschio. Il grande palazzo fu confiscato nel 1400 e assegnato ad una nobile famiglia spagnola, la quale non si curava l’edificio, che ben presto cadde in rovina. Nella prima metà del XV secolo il palazzo divenne l’ospedale “Grande e Nuovo” della città di Palermo. Il 21 agosto 1429 Re Alfonso d’Aragona accolse la richiesta di unificare dentro il palazzo tutti i piccoli centri ospedalieri della città.
Tra la seconda metà del quattrocento e la prima metà del seicento, furono realizzati alcuni splendidi affreschi che ne decoravano le pareti. L'amministrazione dell’Ospedale Grande e Nuovo ne mantenne il possesso fino al 1852. Si decise allora di cambiare ancora una volta la destinazione d’uso dell’edificio trasformandolo in “gendarmeria”. L’Amministrazione militare ne fece il proprio quartiere di truppa.