Il castello di Grazzano Visconti fu costruito nel 1395 e venne utilizzato come mastio da difesa.
Nel 1895 venne ristrutturato dal Duca Giuseppe Visconti di Modrone integrando elementi dell'architettura medievale con lo stile neogotico e trasformato in residenza estiva.
Questo è uno dei luoghi dove il grande regista cinematografico e teatrale Luchino Visconti trascorse molte delle sue estati.
Il castello è immerso in un parco di 12 ettari (che dal 2008 è parte del Circuito dei "Grandi Giardini Italiani") che ospita numerosi esemplari di alberi autoctoni ed esotici ultracentenari, oltre a numerose varietà di rose e ortensie.
Ancora oggi è una residenza privata gestita dalla stessa famiglia ed è stata aperta ai visitatori nel 2018.