Vale la pena echar un vistazo a la demo de Lightbox JS v2.01 La nueva versión de la utilidad JavaScript de Lokesh Dhakar para abrir pop-ups dentro de la misma página donde se encuentre un thumbnail.