La sua costruzione fu eseguita su progetto di Antonio da Sangallo, che ne volle fare la propria abitazione, ottenendo nel 1542 il terreno . Il palazzo ospita alcuni dei cicli più significativi del manierismo, con opere di Francesco Salviati, a cui si devono gli affreschi del salone dei Mappamondi, Pietro da Cortona e Jacopino del Conte. Viene utilizzato per il film La Grande bellezza