Fumal entre dans la famille d’Oultremont. Après une succession, le bien se divise en deux, le château et la Cense del Fosse (construite à l’emplacement du terrain de football actuel), et ce, jusqu’en 1620.