La Casa de Huérfanos se levanta sobre la saca solariega de la familia del obispo Josep Climent Avinent (1706 – 1781), que decide dejar a la ciudad un legado en forma de enorme casa de beneficencia para huérfanos en sus propiedades.
Su uso asistencial para niños huérfanos determina toda la es- tructura. En el nivel inferior se sitúan entrada, vestíbulo, portería, capilla, escaleras, cocina y servicios complementarios, así como el colegio propiamente dicho y un amplio patio. En los pisos superiores se ubican las habitaciones de los maestros, y en la superior un oratorio y las habitaciones de los asilados.
Las plantas se articulan mediante dos escaleras situadas a los lados del vestíbulo, destacando la de la derecha por su enorme calidad, con un pasamanos de madera terminado en rocallas, mamperlanes de madera y cerámica en los peldaños.