Česká knihovna vznikla v Karlových Varech až po roce 1945, kdy většina původního německého obyvatelstva musela republiku opustit a do pohraničí začali přicházet Češi. Zpočátku se rozvíjela zejména díky darům občanů a darům ministerstva kultury.
V 60. letech se stala řídícím centrem všech knihoven okresu. Postupně vznikaly střediskové knihovny ve větších obcích (Nejdku, Teplé, Ostrově aj.)
V 70. letech byla dokončena rekonstrukce ústřední budovy na I. P. Pavlova. Knižní fond byl moderněji zpracováván – knihy se začaly balit do fólií, lépe označovat a vytvářel se katalog dle MDT (mezinárodní desetinné třídění). Budovaly se též nové pobočky ve městě.
V 90.letech byly postupně zavedeny registrační poplatky, které jsou v současné době vzhledem k vysokým cenám knihy spíše symbolické. Od ledna 1999 byl v prostorách čítárny zprovozněn internet pro veřejnost. Po roce 2000 byla vytvořena internetová stránka knihovny, kde si mohli čtenáře vyhledat veškeré informace.
V roce 2006 došlo k oddělení krajské knihovny, která přesídlila do nových zrekonstruovaných prostor ve čtvrti Dvory, a městské knihovny. V hlavní budově na I. P. Pavlova v lázeňské části Karlových Varů zůstalo oddělení pro dospělé, oddělení pro děti a čítárna. Dále magistrát provozoval také pobočky na Čankovské, v dolních Drahovicích, na Růžovém vrchu, v Tuhnicích, ve Staré Roli a na Vyhlídce.
Rada města Karlovy Vary na jednání 9. 2. 2021 rozhodla o ukončení činnosti poboček Vyhlídka a Tuhnice. Následně byly pobočky zrušeny. Část fondu byla rozdělena mezi ostatní pobočky. Část byla darována.
Od 1. 1. 2024 spadá Městská knihovna Karlovy Vary pod INFOCENTRUM MĚSTA Karlovy Vary, z. ú.