Nakon uspješne srednjoškolske karijere, Nelson se odlučio na pohađanje sveučilišta u Iowi. Ondje je proveo četiri sezone te je svoju sveučilišnu karijeru zaključio s prosjekom od 21.1 poena i 10.5 skokova po utakmici i izborom u All-American momčad. Izabran je kao 17. izbor NBA drafta1962. od strane Chicago Zephyrsa. Nakon jedne sezone u dresu Zephyrsa, Nelson je mijenjan u Los Angeles Lakerse. Nakon dvije sezone u Lakersima, Nelson je, kao slobodan igrač, potpisao za Boston Celticse. U prvoj sezoni u dresu Celticsa, Nelson je prosječno postizao 10,2 poena i 5,4 skoka po utakmici te je, kao važan igrač s klupe, pomogao momčadi osvojiti NBA naslov. Do kraja svoje, a i karijere u Bostonu, Nelson je osvojio još četiri NBA naslova. U NBA finalu 1969., u sedmoj utakmici serije, Nelson je postigao jedan od najslavnijih koševa u NBA povijesti. Nakon što se lopta odbila do Nelsona, nekoliko sekundi prije kraja, Nelson je uputio šut i lopta se odbila visoko u zrak. Međutim lopta je, po povratku, prošla kroz obruč i donijela vrijednu pobjedu Celticsima i još jedan NBA naslov čime su osvojili 11. NBA naslov u 13 godina. Svoju karijeru, Nelson je završio 1976. godine te je, u NBA povijesti, ostao zapamćen kao jedan od najboljih šestih igrača lige. 1978. godine, uprava Boston Celticsa, umirovila je njegov dres s brojem 19.
Odmah po završetku svoje igračke karijere, 1976. godine, Nelson preuzima mjesto glavnog trenera Milwaukee Bucksa. Prvu nagradu za trenera godine, Nelson je osvojio u sezoni 1982./83. te je još jednu u sezoni 1984./85. Nelson je u tradicionalnu košarkašku taktiku, unio tzv. point forwrad kojim su niska krila preuzimala nadzor nad napadom. Ta taktika, omogućila je Bucksima naslov pobjednika Centralne divizije i nastup u nekoliko doigravanja tijekom 80-ih. Nakon deset sezona, Nelson je odstupio s mjesta glavnog trenera i odlučio preuzeti Golden State Warriorse, kao potpredsjednik i trener kluba. U sezoni 1991./92., Nelson je osvojio svoju treću nagradu za trenera godine. Tijekom svog boravka u Warriorsima, Nelson je primjenjivao run&gun taktiku te je, unatoč nedostatku visine pod košem, uspio odvesti Warriorse do nekoliko doigravanja. Također, Nelson je bio uspješan i na mjestu potpredsjednika operacija kluba jer je draftirao buduće NBA zvijezde poput Chris Webbera i Latrella Sprewella. Nakon četiri sezone, napustio je Warriorse te je 1994. godine izabran za glavnog trenera Dream Teama II. Dream Team II je, na Svjetskom prvenstvu u Kanadi, s lakoćom osvojio zlatnu medalju. U srpnju 1995. godine, Nelson je preuzeo mjesto glavnog trenera New York Knicksa. Međutim nije se dugo zadržao na klupi Knicksa jer je već u ožujku 1996. godine otpušten. Razlog tome bile su prepirke s upravom kluba i prijedlog o zamjeni Patricka Ewinga i potpisivanja, zvijezde u usponu, Shaquillea O'Neala. 1997. godine, Nelson je postao generalni upravitelj i glavni trener Dallas Mavericksa. Nelson je, zajedno sa Steveom Nashom, Dirkom Nowitzkim, i Michaelom Finleyem, tzv. Big Threem, u četiri uzastopne sezone odveo Maverickse do 50+ pobjeda u regularnom dijelu sezone. Međutim s Raefom LaFrentzom, Shawnom Bradleyem i Dirkom Nowitzkim pod košem, Mavericksi nikada nisu ostvarili NBA finale. 19. ožujka2005. Nelson je odstupio s mjesta glavnog trenera Mavericksa zbog zdravstvenih problema.[1]29. kolovoza2006. Nelson je ponovno preuzeo mjesto glavnog trenera Warriorsa te ih je, već u prvoj sezoni, odveo do senzacionalne pobjede u prvom krugu doigravanja nad prvoplasiranim Dallas Mavericksima. U drugom krugu doigravanja Warriorsi su ipak izgubili od Utah Jazza. Te iste sezone, Nelson je ostvario 1200 trenerskih pobjeda.[2] Prije sezone 2008./09. Nelson je odlučio produžiti ugovor s Warriorsima.[3]
