Diseñada por el arquitecto Guillermo Langle en 1928, fue mandada construir por Antonio González Egea, terrateniente, banquero, consignatario de uva de Ohanes, concejal y alcalde de Almería.

González Egea no llegó a habitar la casa, pues interrumpió las obras la Guerra Civil, y este morirá poco después. La habitan después su hijo, José González Montoya (que da nombre al apelativo con que se conoce el edificio) y la viuda de este, la empresaria turística y filántropa Francisca Díaz Torres, quien la donó al ayuntamiento de Almería en 1984 a título póstumo a fin de que fuera convertida en museo.

Tras ser expoliada durante la guerra, entre 1942 y 1943 se restaura con ayudas públicas para la Reconstrucción de la Dirección General de Regiones Devastadas. Ese año, el día 9 de mayo, pernocta en ella el dictador Francisco Franco durante su visita a la capital almeriense.

Desde 2015, la conocida como casa de Doña Pakyta, forma parte del Museo de Arte de Almería.