Spencer es hijo de James y Margaret Dutton, dos colonos que se ganan la vida en Montana después de dejar atrás una vida de pobreza en Tennessee para buscar un futuro mejor. Spencer y sus hermanos son el origen de una larga estirpe familiar. Durante generaciones, su familia luchó por expandir y proteger la tierra que conquistaron por sus propios medios.