Ο Castiglioni γεννήθηκε στις 16 Φεβρουαρίου 1918 στο Μιλάνο, στη Λομβαρδία στη βόρεια Ιταλία. Ήταν ο τρίτος γιος του γλύπτη Giannino Castiglioni και της συζύγου του Livia Bolla. Τα μεγαλύτερα αδέρφια του Livio και Pier Giacomo ήταν και οι δύο αρχιτέκτονες.