Spencer ist der Sohn von James und Margaret Dutton, zwei Siedlern, die sich in Montana ihren Lebensunterhalt verdienen, nachdem sie ein Leben in Armut in Tennessee hinter sich gelassen haben, um nach einer besseren Zukunft zu suchen. Spencer und seine Geschwister bilden den Anfang einer langen Familienlinie. Über Generationen hinweg kämpfte seine Familie dafür, das Land, das sie sich selbst erschlossen hatte, zu vergrößern und zu schützen.