Създава семейство със Стойка Ив. Ненова от Ямбол, но къде, как и кога се женят няма данни. От писмо на Христо Гоцев и баща му Гоце Мадов до нея, научаваме, че в края на 1917-та година тя работи като учителка в в ІІ-ро отделение в Ямбол и става ясно, че тя добре се познава с неговото семейство. На 1-ви май, 1922-ра година, в София се ражда Георги – единственият син на Христо и Стойка*. От полицейското досие на д-р Константин Гоцев научаваме, че Христо Гоцев заболява от туберкулоза, в следствие от прекаран почти едногодишен арест, заради комунистическите си убеждения. Христо умира през август 1925-та година, едва на 45 години. Три години след смъртта на съпруга си, Стойка затваря очи завинаги на 32-годишна възраст в гр. София също от туберкулоза. Малкият Георги, останал пълен сирак бива отгледан от баба си и дядо си в Цариброд. Жълтата гостенка обаче не спира дотук и през 1939-та година, само на 17 години умира и техния син Георги – поет и художник*. Също като баща си пишел стихове, които за съжаление не са запазени. В семейния архив обаче се пазят две негови картини, нарисувани малко преди да почине.

* Смъртни актове на Христо, Стойка и Георги