1928年臺北帝國大學成立之初，以原臺北高等農林學校校舍為基礎，圖書館亦於同年3月由總督府營繕課負責興建館舍，稱為「臺北帝國大學附屬圖書館」。1945年二戰結束，同年11月15日國民政府接收「臺北帝國大學」，改組後更名為國立臺灣大學，圖書館亦同時改隸，溯至本館創設，至今已近100年歷史。

圖書館新總圖書館自1986年7月規劃施工以迄落成歷經12年，於1998年11月正式落成啟用。新館建築由沈祖海建築師事務所設計，以山牆、拱窗作為舊總圖書館建築語彙的延伸，具有承先啟後的意義；而對稱、穩重的造型也有傳達知識殿堂的意涵。自此，各式服務也邁入新的里程，新館集中校總區原有34所院系單位圖書館室分散式的服務，紓解過去分散式人力配置的窘困，解決讀者以往費時奔波各館室間查詢資料之辛勞，並進而提供多元化、專業化與效率化之服務：如延長開放時間、增加借書冊數與借期、提供更多電子參考工具與電子全文期刊、啟用國內首座圖書館「自動化書庫」增加至少120萬冊典藏空間、進行特藏資料數位化工作和舉辦藝術品展覽等。

2022年10月啟動新總圖一樓空間改造工程，並於2023年8月正式揭牌啟用。此次改造將原有靜態閱覽空間轉型為可容許適度交談音量，並結合展覽、交誼之多功能場域，並由捐款人本校經濟系校友謝南強先生命名為「致強大廳」，勉勵臺大人「學以致用，莊敬自強」。