Babası Özer Yalçın’da futbolcuydu. Futbola Beşiktaş altyapısında başladı. Serpil Hamdi Tüzün'ün Türk futboluna kazandırdığı isimlerden biri oldu.
Sergen Yalçın, Gordon Milne döneminde Beşiktaş A Takımı'na yükseldi. Sergen Yalçın, ilk resmi maçını 1 Eylül 1991'de Gençlerbirliği'ne karşı oynadı.1991-1996 yılları arasında başarılı performansıyla dikkat çekti ve 2 lig şampiyonluğu, 2 Cumhurbaşkanlığı Kupası ve 1 Türkiye Kupası gördü. Ancak başarılarının yanında kumar, at yarışı gibi tutkuları yüzünden de eleştirildi. 1996-1997 sezonu sonunda sözleşmesi biten Sergen, takım arkadaşı Alpay Özalan ile birlikte Beşiktaş'ın verebileceğinden daha fazla para istediği için kulüple anlaşamadı. Cem Uzan'ın başkanlığını yaptığı İstanbulspor'dan teklif aldı ve 1997 yılında Aykut Kocaman, Oğuz Çetin transferi ile dikkat çeken İstanbulspor'a transfer oldu. Sergen Yalçın’ın içlerinde adı “Sergen”,“Kazım Baba”ve “Blackberry” olan 8-10 tane yarış atı vardır. Sergen Yalçın, İstanbulspor’da 1998 yılının kasım ayında da yönetimle problemleri olan ve maaşı ödenmeyen Sergen, sözleşmesini tek taraflı feshetti. Uzun süre futbol oynayamadı, Avrupa'dan kulüplerle görüşse de anlaşma sağlayamadı. 1999'un başında Siirt JeT-PaSpor'a transfer oldu. Siirt JeT-Pa Spor formasını giyen Sergen daha sonra Fenerbahçe'ye bedelsiz ve kiralık olarak gitti. Fenerbahçe'deki performansıyla tekrar milli takıma seçildi. Sezon sonunda Fenerbahçe 3. olsa da iyi oynayan Sergen'in takımda kalmasına karar verildi ve bir sezon daha kiralandı. Sergen'in sözleşmesi aralık ayında feshedildi. Sergen Yalçın, Türkiye'de tekrar bir takımda forma giyebilmesi için federasyon kurallarına göre "hülle" yöntemiyle, Avrupa'da bir takıma satılması ve oradan Türkiye'ye dönmesi gerekiyordu. Bu yüzden Sergen kâğıt üzerinde Makedon takımı FK SlogaJugomagnat'a satıldı, daha sonra oradan 2000 yılının başında Galatasaray'a kiralandı. Sergen böylece Refik Osman Top, Ali Soydan ve Saffet Sancaklı'dan sonra 3 Büyükler'de forma giyen 4. futbolcu oldu. 2000-2001 sezonun başında ise Trabzonspor'a kiralandı ve 4 büyüklerin tümünde forma giyen ilk futbolcu ünvanını aldı. Trabzonspor'la ilk günlerinde sakatlıklarla boğuştu. Daha sonra ise Beşiktaş'tan takım arkadaşı Oktay Derelioğlu ile birlikte antremanları aksatıp, yüksek ücret istediler. Sezon sonunda Trabzonspor 5. olurken, Sergen Yalçın da Trabzonspor ile yollarını ayırdı.
Sergen Yalçın, 2002 - 2003 sezonunda Beşiktaş’a döndü ve Beşiktaş'ın 100. yılındaki şampiyonluğunun baş mimarlarından biri oldu. Sergen Yalçın, Türkiye liglerinde 100 gol barajını aşan futbolcuların arasına girdi. 11 Ekim 2003 tarihindeki Türkiye - İngiltere maçı dahil 37 kez milli formayı giydi ve 5 gol attı.
Sergen Yalçın, 2006/2007 sezonunda 2.Lig B Kategorisi'ne yeni yükselen ekiplerden Etimesgut Şekerspor'a transfer oldu. Eskişehirspor'a 8 Temmuz 2007 tarihinde Atatürk Stadyumu'nda düzenlenen imza töreni ile transfer oldu. Eskişehirspor, Süper Lig'e çıkma yolunda ilerlerken yine kadro dışı bırakıldı ve daha sonra kulübüyle yollarını ayırdı. Daha sonra ise futbolu bıraktığını açıkladı. 1996 Avrupa Futbol Şampiyonası ve 2000 Avrupa Futbol Şampiyonası forma giydiği turnuvalar oldu. En son 11 Ekim 2003 tarihinde Fenerbahçe Şükrü Saracoğlu Stadyumunda oynanan Türkiye - İngiltere maçında milli formayı giydi.
37 kez milli oldu ve 5 gole imza attı. 4 Kasım 2008 tarihinde yapılan anlaşma ile Sergen Yalçın, Beşiktaş U-15 takımının antrenörü oldu.2009-10 sezonunun başında Beşiktaş A2 takımının başına getirildi. Takım A2 Ligi'nin Marmara Grubu'nda, güçlü rakiplerinin arasında birinci olarak devam ederken, Sergen Yalçın bir yandan yorumculuğa devam edip A Takım hocası Mustafa Denizli'yi eleştiriyordu. Sezon ortasında, Denizli'nin gençleri oynatmamasını ve ilgisizliği gerekçe gösterip teknik direktörlük görevini bıraktı. 2010-2011 sezonu öncesi Sarıyer Spor Kulübü sportif direktörlüğüne getirildi.
Sergen Yalçın, futbolu dışında özel yaşamıyla da oldukça dikkat çeken bir futbolcuydu. Sergen'in at yarışı tutkusu birçok takımında problem olmuştu. Takım arkadaşı Gökhan Keskin, verdiği bir röportajda: "Beşiktaş’a ilk geldiğinde benim yanıma verdiler. Daha 17 yaşındaydı. “Al bu çocuğa göz kulak ol, at yarışı oynuyormuş” dediler. Aradan iki hafta geçti. Bir baktım, ben, Metin ve Sergen beraber at yarışı kuponu yapıyoruz." Dedi.Bir dönem "Barbie Operasyonu" adlı fuhuş operasyonunda adı geçtiği için ifade verdi. Biri ara da kumar tutkusu ve Sedat Peker bağlantıları yüzünden soruşturma açıldı. NTV'deki bir programda Sergen, Bayern Münih'in kendisini almak için araştırma yaptığını, ancak bu özelliklerini öğrenince transferden vazgeçtiğini itiraf etmiştir. Sergen, Acun Ilıcalı'nın Devler Ligi adlı eski futbolcuların futbol turnuvasında da forma giymiştir. Yeni Rakı'nın internet üzerinden hazırladığı bir reklamda ve Europen firmasının reklamlarında oynamıştır.Son olarak Finans Bank'ın EnPara reklamlarında oynamıştır. Ayrıca Sergen Yalçın, Yetenek Sizsiniz adlı programda 2011-2012 ve 2012-2013 iki sezon jüri üyeliği yapmıştır.
Oynadığı Takımlar : 1990-1992 - Beşiktaş A2 1991-1997 - Beşiktaş 1997-1999 - İstanbulspor 1999-2002 - Siirtspor 1999 - →Fenerbahçe (Kiralık) 1999 - →Sloga (Kiralık) 1999-2000 - →Galatasaray (Kiralık) 2000-2001 - →Trabzonspor (Kiralık) 2001-2002 - →Galatasaray (Kiralık) 2002-2006 - Beşiktaş 2006-2007 - Şekerspor 2007-2008 - Eskişehirspor