A Magyar Tudományos Akadémia Könyvtárának megalapítása gróf Teleki József, az MTA első elnöke nevéhez fűződik, aki 1826-ban 30 ezer kötetes családi könyvtárának felajánlásával vetette meg a Tudós Társaság első tudományos intézményének alapjait. A Könyvtár 1831-ben, az Akadémiával egyszerre kezdte meg működését. A különböző forrásokból gyarapodó gyűjtemény a szükséges rendező és feldolgozó munka után 1844-ben, a mai Petőfi Sándor utca 3. sz. alatti Trattner-Károlyi házban nyitotta meg kapuit az Akadémia tagjai és más tudósok számára.
Gróf Teleki József
A szabadságharc bukását követő időszakban a Könyvtár nehéz körülmények között működött. Az intézmény életében döntő fordulatot jelentett az Akadémia új székházának átadása 1865-ben, amikor a Könyvtár a Friedrich August Stüler tervei alapján készült palotában nyert méltó és korszerű elhelyezést, így lehetővé vált, hogy 1867-ben az alapító szándékának megfelelően "a haza összes polgárainak használatára" megnyílhasson.
A könyvtári gyűjtemény az évtizedek során értékes adományokkal gyarapodott, ezzel párhuzamosan a külföldi könyvek és folyóiratok vásárlása, a különböző tudományos társaságokkal, akadémiákkal létesített cserekapcsolatok, valamint a magyar könyvtermés vonatkozásában a kötelespéldány-szolgáltatás biztosította az általános gyűjtőkörű állomány kiépítését. A gyűjtemény korszerű működési elveit, használatát először Toldy Ferenc titoknok szabályozta 1848-ban kiadott könyvtári Utasításával.
A Könyvtár életében jelentős esemény volt 1865-ben a Könyvtári Bizottság megalakulása, melynek elnöke Toldy Ferenc, tagjai pedig Arany János, Budenz József, Horváth Cyrill, Hunfalvy Pál, Jedlik Ányos, Pauler Tivadar, Petzval Ottó és Wenzel Gusztáv lettek. Az új palotába költözést megelőzően Hunfalvy Pál főkönyvtárnok vezetésével új, egységes szakrendszer és katalógusrendszer felállítására került sor. 1869-ben Eötvös József kultuszminisztersége idején határozták meg először a Könyvtár gyűjtőkörét.
A Könyvtár egyenletes fejlődésének az I. világháború vetett véget. A cserekapcsolatok szinte teljesen megszakadtak, a háborút követő infláció miatt értékét vesztette az Akadémia alaptőkéje és alig működött a csere alapjául szolgáló könyvkiadás. Az állományfejlesztő munkára a pénzhiány és a háborús körülmények kedvezőtlenül hatottak, amit az 1929-ben az Akadémiára került Vigyázó-hagyaték is csak részben tudott ellensúlyozni. A két világháború között a Könyvtár fejlődése stagnált, az intézmény az erőfeszítések ellenére sem tudta megőrizni korábbi színvonalát.
Arany János
A II. világháborúban a Könyvtár állománya csak kisebb károkat szenvedett, így az épület helyreállítása után azonnal újraindulhatott az intézmény munkája.
Az MTA Könyvtárának történetében döntő fordulatot jelentett az Akadémia 1949. évi átszervezése. Az MTA az ország legfelsőbb tudományos testülete lett, ennek megfelelően átalakult a Könyvtár feladatköre is: fő funkciója ettől kezdve az Akadémia keretei között folytatott kutatások könyvtári hátterének biztosítása.
A sokasodó feladatok, a nagy ütemben gyarapodó állomány az átszervezés után elhelyezési gondokat vetett fel, amelyre megoldást csak egy önálló épület hozhatott. Több, meg nem valósult terv után az 1863–64-ben épült Arany János utca 1. sz. alatti volt akadémiai bérházat építették át könyvtárrá 1985–88 között.
A Könyvtár új épülete 1988. novemberében nyílt meg az olvasók előtt. A Különgyűjtemények továbbra is az Akadémia palotájában maradtak.
A Magyar Tudományos Akadémiáról szóló 1994. évi XL. törvény és az ahhoz kapcsolódó Alapszabály 75. § rendelkezik a Könyvtárról:
A Magyar Tudományos Akadémia Könyvtára a tudományos ismeretek terjesztésének és a tudományos munka előmozdításának feladatát látja el, történeti szempontból is országos jelentőségű nyomtatott, kéziratos, levéltári és egyéb információhordozókon található anyagot gondozó nemzeti intézmény.
A kulturális javak védelméről és a muzeális intézményekről, a nyilvános könyvtári ellátásról és a közművelődésről szóló 1997. évi CXL. törvény 63. § értelmében a Könyvtár országos tudományos szakkönyvtár.
A Könyvtár 2001-ben tudományos emléküléssel, kiállítással, jubileumi kiadvány megjelentetésével és az alapító sírjánál elhelyezett emléktáblával ünnepelte meg fennállásának 175. évfordulóját.
