Γεννήθηκε στο χωριό Μολυβδοσκέπαστος Ιωαννίνων και ήταν γιος του υποστράτηγου Γρηγορίου Παπούλια. Αποφοίτησε από τη Νομική Σχολή Αθηνών. Πραγματοποίησε μεταπτυχιακές σπουδές στο Πανεπιστήμιο του Μιλάνου (Δημόσιο Διεθνές Δίκαιο και Διεθνείς Σχέσεις) και στη συνέχεια έλαβε το διδακτορικό του δίπλωμα από το Πανεπιστήμιο της Κολωνίας (Ιδιωτικό Διεθνές Δίκαιο).
Η διδακτορική διατριβή του είχε τίτλο: "Erwerb und Verlust des unmittelbaren Besitzes im griechishen und deutschen Recht" («Η κτήση και η απώλεια της Νομής κατά το ελληνικό και γερμανικό δίκαιο»).
Το 1974 εντάχθηκε στο ΠΑΣΟΚ και εκλεγόταν συνεχώς βουλευτής Ιωαννίνων για 26 χρόνια (1977-2004). Στην πρώτη κυβέρνηση Ανδρέα Παπανδρέου διορίστηκε Υφυπουργός Εξωτερικών, θέση στην οποία παρέμεινε μέχρι το 1984, για να αναβαθμιστεί στη συνέχεια σε Αναπληρωτή Υπουργό Εξωτερικών.
Την περίοδο 1985-1989 διετέλεσε Υπουργός Εξωτερικών, ενώ στην οικουμενική Κυβέρνηση Ζολώτα 1989-1990 διετέλεσε Αναπληρωτής Υπουργός Εθνικής Άμυνας. Στη θέση του Υπουργού Εξωτερικών επανήλθε το 1993, για να παραμείνει μέχρι το 1996 και την παραίτηση της Κυβέρνησης Παπανδρέου, ενόψει της εκλογής του Κώστα Σημίτη στο αξίωμα του Πρωθυπουργού. Τέλος, διατέλεσε πρόεδρος της Επιτροπής Εθνικής Άμυνας και Εξωτερικών Υποθέσεων της Βουλής.
Στις 12 Δεκεμβρίου 2004 προτάθηκε από τον Πρωθυπουργό Κώστα Καραμανλή για το αξίωμα του Προέδρου της Δημοκρατίας. Υπέρ της πρότασης εκφράστηκε και το ΠΑΣΟΚ. Στην πρώτη ψηφοφορία που έγινε στη Βουλή στις 8 Φεβρουαρίου του 2005 ο Κάρολος Παπούλιας εξελέγη Πρόεδρος της Δημοκρατίας από τον πρώτο γύρο με 279 ψήφους. Στις 3 Φεβρουαρίου 2010 ο Κάρολος Παπούλιας επανεξελέγη στο ύπατο αξίωμα της χώρας με 266 ψήφους στο σύνολο των 298 ψηφισάντων. Υπερψηφίστηκε από σύσσωμες τις Κοινοβουλευτικές Ομάδες του ΠΑΣΟΚ, της ΝΔ και του ΛΑΟΣ. Με το αποτέλεσμα αυτό έγινε ο τρίτος Πρόεδρος που επανεκλέγεται για δεύτερη θητεία. Είναι νυμφευμένος με τη Μαρία Πάνου και έχει τρεις κόρες.
