Edificato da Pinamonte Bonacolsi intorno al 1272, è stato l'antica dimora della famiglia Bonacolsi, che governò la città dal 1272 al 1328.
Il palazzo è attualmente ancora dimora della famiglia dei conti Castiglioni.