Urodził się 4 stycznia 1943 roku w Budapeszcie w rodzinie muzycznej. Jego ojciec był przez wiele Iat solistą - kontrabasistą w Węgierskiej Operze Narodowej. Karoly Saru rozpoczął naukę muzyki w wieku lat 12. Ukończył Liszt Music Academy w roku 1970. Od roku 1967 był prowadzącym sekcję kontrabasów w MAV Symphony Orchestra. Od 1973 roku jest profesorem w Akademii Muzycznej w Debreczynie gdzie prowadzi klasę kontrabasu.