A könyvtár az egykori polgári iskola földszintjén került kialakításra.

A kiegyezés utáni gazdasági fejlődés az oktatás kiterjesztését kívánta meg Tokajban. Tokaj képviselő-testülete 1901-ben döntött arról, létesüljön „polgári” iskola. A terveket Baumgarten Sándor (sok más polgári iskola tervezője,) műépítész készítette. 1903-1905 között épült helyi ács-és kőműves mesterek munkájaként. Az építést sok mecénás támogatta, közöttük a legnevesebb Lazarovits Adolf fakereskedő volt. A munkát Székely Károly városi tanácsnok, az iskolák gondnoka szervezte. Mindezt az épület főutca felőli északi sarka alatt elhelyezett alapító okiratban olvashatjuk.

Az épület ornamentikája romantikus és eklektikus motívumokból áll. Falait Bodrogkeresztúri fehérkőből (riolittufából) emelték. Igényes tetőzete jól szerkesztett, „ülőszékes” megoldású. 1949-ben, az általános iskolák megszervezése után szűnt meg a polgári iskola, azóta előbb gimnázium (1952-1958-ig), majd általános iskola.

A szomszédos telken épült általános iskola 1972-ben új épületszárnnyal bővült, amely összeközözze a kettőt. A polgári iskola termeiben kapott helyet a város 1969-ben egyesült általános iskolái közös felső tagozata.

A városban 1996-ban „szerkezetátalakítás” folyt Májer János polgármestersége időszakában pályázat készült az iskola és a könyvtár közös kialakítását is szolgáló teljes épületrekonstrukcióra. A költségek csökkentése céljából a városi könyvtárat is ebben az épületben helyezték el. A könyvtár tervét Bodonyi Csaba városi főépítész készítette. Faburkolatai és berendezése az 1900 körüli, „századfordulós” hangulathoz igazodtak. Ez különösen hangulatos teret jelent a könyvtári életnek. A felnőtt- és gyermekkönyvtári, valamint közösségi és más terek célszerű elhelyezése szépséggel társul, s ezt a szándékot a könyvtár dolgozói sikerrel őrzik és ápolják. Ezért nyerte el jó tíz éve a könyvtár a”a város legnépszerűbb intézménye” címet.