Gürün Cumhuriyet İlkokulu ve Gürün Ortaokulu’nda öğrenim gördü. İsmet Yılmaz ,İstanbul Haydarpaşa Lisesi’ni bitirdi.
İsmet Yılmaz İstanbul Teknik Üniversitesi Denizcilik Fakültesi (Denizcilik Yüksek Okulu) Makine Bölümü’nden 1982 yılında; İstanbul Üniversitesi Hukuk Fakültesi’nden 1987 yılında mezun oldu.
İsmet Yılmaz İsveç Dünya Denizcilik Üniversitesi’nde “Gemi İşletmeleri Teknik Yönetimi” alanında ve Marmara Üniversitesi Sosyal Bilimler Enstitüsü Özel Hukuk Ana Bilim Dalında iki ayrı Yüksek Lisans yaptı.
İsmet Yılmaz Ankara Üniversitesi Sosyal Bilimler Enstitüsü Özel Hukuk alanında doktorasını tamamladı.
Kamuda ve özel sektörde yaklaşık 20 yıl mühendis ve müşavir avukat olarak hizmet verdikten sonra 31.12.2002 tarihinde Denizcilik Müsteşarı olarak atandı.
İsmet Yılmaz Türk Telekom Yönetim Kurulu Başkan Yardımcılığı görevini yürüttü.
Türkiye Cumhuriyeti Anayasası’nın 114 üncü maddesi gereğince 22 Temmuz 2007 Türkiye genel seçimleri öncesi tarafsız Ulaştırma Bakanı olarak görev yapmıştır. 31 Ekim 2007 tarihinden itibaren de Kültür ve Turizm Bakanlığı Müsteşarı olarak görev yapmıştır. 24. Dönem Sivas Milletvekili olarak TBMM'ye girmiştir. Adalet ve Kalkınma Partisi'nin 3. döneminde Vecdi Gönül'ün yerine Milli Savunma Bakanlığına atanmıştır.
Evli ve üç çocuk babası. İyi derecede İngilizce bilmektedir. 12 Haziran 2011 Genel Seçimleri’nde Sivas’tan, AK Parti Milletvekili seçildi.