Der Palast wurde 1517-1523 für Andrea della Valle (1463-1534) errichtet. Nach Vasari war Lorenzo Lotti il Lorenzetto der Baumeister - wahrscheinlicher scheint aber Andrea Sansovino in Kooperation mit Antonio da Sangallo il Giovane. Zunächst war der Palazzo mit nahezu schmuckloser Fassade auf die rechten acht Fensterachsen und zwei Obergeschosse beschränkt, deren Intervalle auch kleiner sind.