Spencer est le fils de James et Margaret Dutton, deux colons qui gagnent leur vie dans le Montana après avoir laissé derrière eux une vie de pauvreté au Tennessee pour chercher un avenir meilleur. Spencer et ses frères et sœurs sont à l’origine d’une longue lignée familiale. Pendant des générations, sa famille s’est battue pour agrandir et protéger les terres qu’elle avait acquises par ses propres moyens.