Ali Haydar Konca, 1 Şubat 1950 tarihinde Muş'un Varto İlçesi'nde dünyaya geldi.
1971 yılında Ankara Üniversitesi Hukuk Fakültesi'nden mezun olan Ali Haydar Konca,i ardından Elazığ'da Maiyet Memurluu görevini yapmaya başladı. 1980 Askeri Darbesi'ne kadar bir çok şehirde kaymakamlık yapan Ali Haydar Konca'ya darbenin ardından görevi iade edildi. Bu dönemin sonrasında Hassa, Çüngüş ve Sürmene kaymakamlığı görevlerini yürüten Ali Haydar Konca, Kocaeli Valiliği Hukuk İşleri Müdürlüğü'ne tayin edildi. Kocaeli'de görevinden istifa eden Ali Haydar Konca, bu şehirde serbest avukat olarak hayatına devam etti.
1989 yılında gerçekleştirilen yerel seçimlerde Sosyaldemokrat Halkçı Parti'den Kocaeli belediye meclis üyesi seçilen Ali Haydar Konca, bir süre sonra bu görevden ve partiden istifa etti.
25. Dönem Milletvekili Seçimleri'nde Halkların Demokratik Partisi'nden Kocaeli Milletvekili seçilen Ali Haydar Konca, seçim hükümetinde kendisine gelen bakanlık teklifini kabul etti ve Avrupa Birliği Bakanı olarak göreve atandı. Ali Haydar Konca, 22 Eylül'de Avrupa Birliği Bakanlığı görevinden istifa etti.
Ali Haydar Konca, evli ve 3 çocuk sahibidir.