Sin da subito, dopo l'acquisizione di Fossano, fu intenzione di Filippo I di dedicare ad essa particolare attenzione e dotarla di un castello e di
varie difese fortilizie.
I lavori ebbero inizio nel 1324: il castello venne eretto nel centro della città; davanti dominava tutta la pianura verso Torino, mentre le spalle
erano difese dal naturale pendio verso la Stura.
Il castello venne eretto in fretta, in soli otto anni, a causa delle minacce di guerra con i Savoia, il Monferrato e Saluzzo, senza la
necessaria cura dei particolari.
Ad esempio vennero inizialmente erette delle torri minori in legno, e come materiale di copertura dei tetti venne adottata la paglia.
Tra le curiosità ricordiamo che nello spazio per la costruzione furono abbattute cinque case, per le fondamenta vennero impiegati oltre mille
sterratori, e le spese dei materiali (in particolare mattoni e legna) e del loro trasporto furono molto ingenti.
Il successore di Filippo, Giacomo, ebbe rapporti molto difficili con i principati limitrofi, entrando più volte in conflitto con i Saluzzo,
il Monferrato ed i Savoia, dai quali fu esautorato verso metà del secolo, dopo aver assediato Fossano.
In seguito Giacomo riuscì a rientrare in possesso dei suoi possedimenti, ma solo dopo aver pagato un ingente riscatto.