Spencer é filho de James e Margaret Dutton, dois colonos que ganham a vida em Montana depois de deixarem para trás uma vida de pobreza no Tennessee para buscar um futuro melhor. Spencer e seus irmãos estão na origem de uma longa linhagem familiar. Por gerações, sua família lutou para expandir e proteger as terras que conquistaram por conta própria.