W 1909 roku zmarła pierwsza żona Stalina, Ekaterina Svanidze. Ta śmierć była dla niego wielką stratą. Nieskłonny do wyrażania emocji, a tym bardziej do barwnych zwrotów mowy, niemłody już rewolucjonista mówił o zimnym kamieniu, który wstąpił w jego serce. Kto wie, jak potoczyłaby się historia świata, gdyby ten lodowaty i twardy przedmiot nie zmiażdżył piersi przyszłego przywódcy największego państwa świata? Jednak nastroje łączące są obce tej nauce.
Z jego ukochanej żony był syn Jakuba, tylko niemowlę. Ojciec nie miał czasu zająć się wychowaniem, miał inne zajęcia. Chłopiec dorastał ze swoją babcią, matką Ekateriną (Kato) w Tbilisi, potem studiował w Moskwie - najpierw w szkole, a potem na studiach elektrotechnicznych. Trudno opisać relację między synem a ojcem, a materiałów, które o nich świadczą, jest bardzo niewiele. Fakty mówią o nieudanej próbie samobójczej z powodu nieszczęśliwej miłości. Strzał w klatkę piersiową został gniewnie potępiony przez ojca Jacoba, skutecznie odmówiono mu domu.
Czy sowiecki dyktator kochał swojego najstarszego syna, trudno powiedzieć. Cały kraj podziwiał odwagę Stalina, który odmówił uratowania schwytanego pod Witebskiem starszego porucznika Dżugaszwili i praktycznie skazał go na śmierć. Z drugiej strony wszystkolata po śmierci syna przywódca światowego ruchu komunistycznego nosił pod tuniką czarną koszulkę na znak żałoby, ukryty, jak wiele w jego życiu.
Druga żona Stalina, Nadieżda Siergiejewna Allilujewa, była o piętnaście lat młodsza od męża. Córkę zawodowego rewolucjonisty urzekł ją obraz romantycznego bojownika, który wrócił z wygnania po rewolucji lutowej. Miała wtedy zaledwie szesnaście lat, a przyszły sekretarz generalny KC WKP(b) – trzydzieści osiem.
Aktywna pozycja życiowa, brak doświadczenia, naiwność i skłonność do rewolucyjnego romantyzmu irytowały jej męża, dążąc do władzy i potęgi.
Jej osobista skromność sięgnęła skrajności – wielu kolegów i szefów organizacji, w których pracowała Nadieżda Alliłujewa, nawet nie wiedziało, że jest żoną Stalina. W 1921 r. chcieli nawet usunąć ją z partii, oskarżając ją o bierność i anarchosyndykalizm (wtedy modne było wieszanie na osobie wszelkiego rodzaju „izmów”), ale jej mąż wstał. A Nadyusha pracowała nie byle gdzie, ale w sekretariacie Lenina, Prawdy i redakcji „Rewolucji i Kultury”, a nawet studiowała w Akademii Przemysłowej. Tam też ani nauczyciele, ani uczniowie nie wiedzieli, że obok nich jest żona Stalina.
Mieli dwoje dzieci, syna Wasilija w 1921 roku i córkę Swietłanę w 1926 roku. Znacznie więcej wiadomo o życiu drugiej rodziny Józefa Wissarionowicza niż o pierwszej. Stało się to możliwe dzięki książce „Dwadzieścia listów do przyjaciela”, wydanej w 1967 roku na Zachodzie. Córka kremlowskiego dyktatora ujawniła wiele tajemnic i szczegółowoopisała swoje życie.
Druga żona Stalina popełniła samobójstwo w tajemniczych okolicznościach po bankiecie u Woroszyłowów z okazji 15. rocznicy Rewolucji Październikowej. Przy stole mąż zachowywał się niegrzecznie, co mogło sprowokować samobójstwo. Było kilka wersji wydarzeń, od zaangażowania Nadieżdy Alliluyeva w antyrządowy spisek, po ciągłe bolesne migreny, ale prawda nie jest już znana.
Na grobie żony Stalina wzniesiono pomnik, bardzo piękny i wyrazisty. Oprócz imienia, nazwiska i dat jest na nim wskazana przynależność do partii: „członek CPSU (b)”.
