Spencer는 테네시에서 가난한 삶을 뒤로하고 더 나은 미래를 찾아 몬태나에 정착해 생계를 꾸리는 두 정착민 James와 Margaret Dutton의 아들이다. Spencer와 그의 형제자매들은 오랜 가문의 시초다. 여러 세대에 걸쳐 그의 가족은 스스로 일군 땅을 넓히고 지키기 위해 싸웠다.