Sokan – tévesen – azt hiszik, hogy a klezmer egyenlő a zsidó zenével. Igazából a klezmer egyfajta zsidó zenei műfaj, melynek gyökerei Kelet-Európában találhatók.

A klezmer két héber szó kombinációjából ered. A kli szó jelentése eszköz, míg a zemer szóé “zenét csinálni” (a modern héberben a zámár szó énekest jelent). Tehát a kli és zemer szó összevonásából származik a klezmer. A klezmer szó 1980-as éveket megelőzően professzionális férfi zenészt jelentett, aki leggyakrabban zsidó volt és zenekarban játszott (leginkább különleges eseményeken kelet európai zsidó közösségekben, főleg esküvőkön, ünnepeken). Az  1980-as évektől használjuk a ma ismert jelentéstartalommal a kifejezést, azaz zenei műfajként.

A 16. és a 18. század között leyts-nek, azaz bohócnak nevezték a klezmer zenét játszókat. A XX. század elejéről származó írások és felvételeken jiddis zenei műfajnak nevezik, de időnként a freilech (vidám) zene névvel illetik. Sholem Aleichem, a jelentős jiddis író 1889-ben megjelent novellájában, a Stempenyu-ban Yosef Druker-ről ír, aki a kor egyik nagyszerű klezmerésze.

A klezmer együttest számos névvel illették (például kapelye, khevrisa). Az, hogy milyen hangszereken játszottak egy-egy bandában függött az adott kortól, helytől, ízléstől és attól is, hogy milyen hangszerek voltak elérhetők. Egy tipikus zenekarban két hegedűs, és chellos is játszott, kiegészítve más hangszerekkel.  A hegedűs volt a zenekar vezetője, az első időkben a cimballom és a furulya, majd később a klarinét és a rézfúvós hangszerek is megjelentek a vezényhangszer mellett.

A 19. század közepétől a klezmer zene az Ottomán Birodalmon kívül is megjelent. Észak-Amerikában az 1880-as években tömegesen érkező kelet-európai bevándorlók “honosították” meg. A kontinensen a zenei műfaj második aranykora az 1970-es évekre tehető, amikor már a jazz-el ötvözték.