La Casa dels Orfes s’alça sobre la casa pairal de la família del bisbe Josep Climent Avinent (1706 – 1781), que decideix deixar a la ciutat un llegat en forma d’enorme casa de beneficència per a orfes en les seues propietats.
El seu ús assistencial per a xiquets orfes determina tota l’estructura. En el nivell inferior se situen entrada, vestíbul, porteria, capella, escales, cuina i serveis complementaris, així com el col·legi pròpiament dit i un ampli pati.
En els pisos superiors se situen les habitacions dels mestres, i en la superior un oratori i les habitacions dels asilats. Les plantes s’articulen mitjançant dues escales situades als costats del vestíbul, destacant la de la dreta per la seua enorme qualitat, amb un passamans de fusta acabat en rocalles, mamperlans de fusta i ceràmica en els esglaons.