La Jefferson Market Library, est une bibliothèque mais originellement, l'immeuble avait été conçu pour être un palais de justice, ce qu'il fut, avant de prendre sa fonction actuelle.
Construit autour de 1833, le premier bâtiment à occuper le terrain était une tour de surveillance incendie en bois. Cette tour était entourée par les baraques du marché de Jefferson (en anglais Jefferson Market), ce qui explique le nom actuel de la bibliothèque.
La tour abritait une cloche qui retentissait pour alerter les pompier volontaires du quartier. Mais en 1865 la création d'un corps municipal de pompiers rendit la cloche inutile.
Le palais de justice fut bâti entre 1874 et 1877 et fut désigné comme l'un des 10 plus beaux édifices du pays.