自身の性格について、アンチェロッティは「生まれ育った土地から受け継いだ」と語っている。彼は1959年6月10日、レッジョ・エミーリア近郊のレッジョーロ市で生まれた。アンチェロッティのレッジョーロへの愛情は特別なもの。レッジョーロはミラノから車で2時間の距離にある。仮にスペインのバルセローナやレアル・マドリーから誘いがあっても、彼は「故郷からそんなに離れたところには行きたくない」と言うだろう。

農夫ジュゼッペを父親に、専業主婦チェチーリアを母親に持つカルロは、モーデナの技術高校に2年間通った後、パルマのサレジオ高校に転校している。本格的にサッカーを始めたのはパルマの下部組織で、76−77シーズンにセリエC1でトップチームデビューを果たす。3年目のシーズン、トリエスティーナとのプレーオフでドッピエッタ（2ゴール）を決めて、パルマをセリエB昇格に導いた。ちなみに、プレーオフでの功績が評価されて、その年の『グエリン・スポルティーヴォ』が選ぶセリエC年間最優秀選手賞を受賞している。

その年の夏、ニルス・リードホルム監督に評価されたアンチェロッティはローマに加入した。実はその頃、インテルも将来有望なMFである彼に興味を持っていたという。実際、アンチェロッティはネラッズーロの一員としてローマとのプレシーズンマッチでプレーした。誰の目にも彼のインテル入りは確実と見られていた。だが、アンチェロッティをパルマと共同保有するために5億リラ（当時のレートで約3000万円）を支払わなくてはならないことに当時のインテルの会長、イヴァノエ・フライッツォーリがためらっていたところ、ローマが横から割り込んできたのだ。ローマはすぐに支払いを済ませ、アンチェロッティの完全移籍を実現させたのである。その後、アンチェロッティは8年間ローマでプレーした。今年の7月26日に行われたローマのクラブ創設80周年記念イベントでの彼の発言を引用すると、「それはとても素晴らしい8年だった」のだという。

8シーズン過ごしたローマでは、スクデット1回、コッパイタリア優勝4回と素晴らしい時を過ごした。その後、サッキに請われてミランに移籍する

アンチェロッティは79年9月11日にセリエＡデビューを果たしている。その試合がローマvsミランだったというのも、何かの因縁なのかもしれない。41年ぶりに手にした82−83シーズンの歴史的なスクデット、4回のコッパイタリア優勝と2回のひざの大ケガを経験したカルレットは、86−87シーズン終了後、チームキャプテンを任されていたにもかかわらずローマを離れた。皮肉にも彼の恩師であるリードホルムが解任され、その後釜としてアリゴ・サッキが監督に就任したばかりのミランから声がかかったのだ。当時、マルコ・タルデッリに次いで完成度が高いイタリア人MFと評価されていたアンチェロッティは、その持ち味である強靭なフィジカルと正確なパス、信頼できる守備力、そして強烈なミドルシュートを引っさげてミランに移籍した。

また、ローマ在籍時の81年1月6日、ウルグアイのモンテビデオで行われたオランダ戦（1−1の引き分け）でイタリア代表デビューを果たしている。アンチェロッティは試合開始からわずか7分でゴールを記録。それは、2度のワールドカップとヨーロッパ選手権に1度出場し、通算26キャップという代表キャリアの中で、彼が記録した最初で最後のゴールだった。

アンチェロッティはミランの一員として、獲得できるタイトルはすべて手にしたと言える。スクデット2回、チャンピオンズカップ2回、インターコンティネンタルカップ2回、ヨーロッパスーパーカップ2回、イタリアスーパーカップ1回を獲得。そして92年、自身3度目のスクデットを獲得した後、33歳で現役引退を決意した。サン・シーロでの最後の試合では、ヴェローナを相手に2ゴールを挙げている。かつて、昇格プレーオフでドッピエッタを決めて注目を浴びたアンチェロッティは、現役最後の試合でもドッピエッタを記録して、サッカー選手として有終の美を飾っている。