Dès son arrivée à Peterborough, en 1845, Sandford Fleming fréquente la famille Hall, celle de sa future épouse. Jeanie Hall lui plaît, mais il faudra un accident de carriole, près de dix ans plus tard, pour que l’amour entre les deux jeunes gens se dévoile.
Un an après cet incident, en janvier 1855, Sandford épouse Ann Jane (Jean) Hall. De leur union naissent neuf enfants, dont deux meurent en bas âge. Le fils aîné, Frank Andrew, accompagnera Fleming en 1872 dans sa grande expédition dans l’Ouest.
Homme de famille, fortement attaché aux siens, Sandford Fleming a aussi accueilli, deux ans après son arrivée au Canada, son père Andrew Greig Fleming, sa femme et six de leurs autres enfants, venus le rejoindre au Canada. Les familles Fleming et Hall se côtoient régulièrement.