5 Nisan 1937 de Çorum'un İskilip kazasında doğdu. Babası keçeci esnafından Hüseyin Yüksel ve annesi Hanife Yüksel'dir. 1943 yılında babasının işi nedeniyle gitmiş oldukları Bolu'nun Gerede ilçesinde ilk okulun birinci ve ikinci sınıflarını okudu. Kendi ifadesiyle müzik zevkini bu yıllarda ilk olarak annesinden aldı. Annesinin sesi oldukça güzeldi ve zaman zaman evde ilahiler okurdu. Yine aynı yıllarda, Gerede'deki ilk okul
eğitimi esnasında ikinci sınıf öğretmeninin de teşviklerini gördü.
Bu esnada babasının iş ortağı olan Sadık Panayırcı'nın evinde sık sık bulunduğu anlarda dinlemiş olduğu gramofon ile de müzik ile olan beraberliğini küçük yaşta başlatmış oldu.
Babası ortağından ayrıldıktan sonra tekrar İskilip'e döndü. İlkokulu burada 1949-1950 öğrenim yılında bitirdi.Babasının rahatsızlanıp mesleğini terk etmesi üzerine Ankara'da yorgancı çıraklığı yaparak çalışmaya başladı. Daha sonra mesleğinde gösterdiği başarı ile 1953 yılında Ankara'nın Yeni Mahalle semtinde bir yorgancı dükkanı açtı. Bu dönemde bir müzik mağazasından aldığı ud ile aktif olarak müziğin içine girdi.Ud aldığı mağaza sahibinin tavsiyesi üzerine Sait Çağlar'dan ud dersleri almaya başladı. Bu arada ud derslerini sürdürürken, Sait hocanın da öğretmenlik yaptığı Musiki Sevenler Cemiyetin'nin çalışmalarına sesi ile katıldı. İlk olarak bu cemiyetle Keçiören Sanatoryumunda verdikleri konserde iki şarkı söyleyerek sesi ile ilk etkinliğini vermiş oldu. Daha sonra musiki içinde yapılan çalışmalar esnasında Erol Sayan ve Sadettin Öktenay gibi kıymetli sanatçılarla da tanışma olanağı buldu.
Bir arkadaşının tavsiyesi ile Ankara Radyo'sunda kemençe sanatçısı olarak görev yapan Vedia Tunççekiç'ten usul dersleri aldı. Bu hocadan kendi ifadesiyle çok yararlandı.Yine bir arkadaşının tavsiyesiyle Fahri Kopuz (1882-1968) ile tanıştı ve kendisinden ud dersleri almaya başladı. Bu arada almış olduğu eğitimle ud dersleri verebilecek seviyeye ulaştı. Bir Musiki Sevenler Cemiyetinde ud dersleri verdi.Daha sonra yeni mahalle halk evi yöneticilerinin teklifi üzerine Halk Evi'de nota dersleri verdi. Yeni mahallede ders verdiği dönemde Ahmet Hatipoğlu ile tanıştı. Yılmaz Yüksel'in İsmail Baha Sürelsan ile tanıştırılması , Ahmet Hatipoğlu tarafından oldu. İsmail Baha Sürelsan o dönemde evinde yapmış olduğu toplantılara Yılmaz Yüksel'i de aldı. Yüksel burada nazariyat bilgilerini ve repertuarını genişletebilmek imkanını buldu.
1957 yılında Mamak Muhabere Okulunda askerlik görevine başladı. Askerliği esnasında 28.Tümen bando bölüğüne alındı.Burada görev yapmakta olan klarnet sanatçısı Barbaros Erköse ile de birçok etkinliklerde bulundu. 1959 yılında terhis oldu.
Tekrar eski mesleği olan yorgancılığa devam etti.Bu arada açtığı yorgancı dükkanı Ankara'lı müzisyenlerin uğrağı haline geldi. Burada da musiki çalışmalarını sürdürdü.Bu esnada ilk bestesini, askerdeki bir arkadaşının verdiği "Bilmem böyle niye uzun kalpten kalbe giden yollar" dizesiyle başlayan şiiri 1960 yılında , düyek usulünde, Uşşak makamında besteleyerek yaptı. Musiki çevresinde beğeni kazandı. Sonra sözleri edebiyat öğretmeni Ahmet Aymutlu'ya ait olan "Gönlüme gir doğ güneşim" isimli şarkıyı Uşşak makamında ve semai usulünde besteledi. Bu şarkısı büyük ilgi gördü ve pek çok plağa okundu. Besteci olarak tanınmasına neden oldu.. Üçüncü olarak, İsmail Baha Sürelsan'ın bestecilik derslerinde ödev olarak verdiği, sözleri Fuat Uluç'a ait Suzinak makamında , curcuna usulünde " Kaşların yay kirpiğin ok neden canım insafın yok" dizesiyle başlayan şiiri besteledi.Daha sonra bestecilik çalışmalarını sürdürdü. 1966 yılında Ankara Radyosunun açtığı sınavı birincilikle kazandı. Ankara Radyosunda geçirdiği üç yıllık stajdan sonra 1969 yılında us sanatçısı olarak kadro aldı. Ayrıca İsmail Baha Sürelsan ile yaptıkları çalışmalar da devam etti.
1969 yılında eşi Oya Hanım ile evlendi. Aynı yıl ilk çocuğu Meriç dünyaya geldi. 1970 yılında ortanca oğlu Tunca doğdu. Daha sonra kayınpederinin isteği üzerine İzmir Radyosu'na tayinini istedi. İzmir'deki yıllarında 1975 yılında küçük oğlu Sürelsan dünyaya geldi. O tarihte İzmir Radyosu Sanat Müdürü olan Ali Rıza Avni Tınaz'dan yakın ilgi gördü.
1973 yılında Denizli'de açılan Altın Horoz Beste Yarışması'na katıldı. Sözleri Nafiz Çamlıbel'e ait olan Evcara şarkısı ile ilk onun içine girdi. Bu yarışmada Yüksel'in eserini Bekir Sıtkı Sezgin okudu ve eseri beşincilik ödülü aldı. Bu ödül onun bestecilik yaşamında aldığı ilk ödüldür.
1974 yılında İzmir Radyosu Küçük Koro'sunu yönetmeye başladı. Daha sonra Beraber ve Solo Şarkılar, Şarkılar ve Saz Eserleri, Kadınlar Topluluğu, Birlikte şarkılar gibi programları yönetirken ud sanatçılığının da sürdürdü.1977-1979 yılları arasında İzmir Radyosu Sanat Müziği Müdürlüğü'nü vekaleten yaptı. 10-11 Ekim 1980 tarihinde TRT Türk Müziği Danışma Kurulu Üyeliği, 1979-1980 eğitim yılında İzmir Devlet Konservatuarında , İleri Yüksek bölümünde Türk Müziği öğretmenliği yaptı. 1884 yılında kurulan Ege Üniversitesi Devlet Türk Musikisi Konservatuarı jürisinde bulundu. İki ay konsevatuarda ud öğretmenliği yaptıktan sonra özel işleri nedeniyle ayrıldı. Daha sonra 29-30 Eylül 1988 yılında İstanbul'da toplanan Türk Sanat Müziği Üyeliği, 1983 yılı Türkiye İş Bankası Büyük Ödül Jüri Üyeliği yaptı. Yılmaz Yüksel 1955 yılında başlayan öğretmenlik yaşamını, amatörce aralıksız sürdürdü. Ankara'da Musiki Sevenler Cemiyeti, Yeni Mahalle Halk Evi ve dükkanında verdiği özel derlerle birçok sanatçının yetişmesine yardımcı oldu. 1970 de İzmir'e geldikten sonra da amatör çalışmalarına devam etti. Sırasıyla, İkiçeşmelik Halk Eğitim Merkezi, İzmir İl Halk Kütüphanesi, İzmir Sanatçılar Derneği, İzmir Belediyesi TSM Korosu, Konak Belediyesi TSM Korosu, Salihli Belediye Korosu, Manisa Belediyesi Korosu'nda dersler verdi. Bu çalışmalardan da birçok sanatçı yetişti,TRT ve Devlet Koroları sınavlarında başarı göstererek profesyonel sanat yaşamına katıldı.