فرمانفرما در سی سالگی با فاطمه خانم عزت السلطنه دختر چهارم مظفرالدین شاه و تاج الملوک (دختر عزتالدوله و امیرکبیر) ازدواج کرد و تا بیست سال بعد همسری اختیار نکرد. حاصل این ازدواج شش پسر بود: 1. فیروز میرزا نصرتالدوله فرمانفرمائیان 2. عباس فرمانفرمائیان 3. محمدولی فرمانفرمائیان 4. محمدحسین فیروز 5. محمدجعفر میرزا 6. نظامالدین میرزا