קודאי נולד בשנת 1882 בקצ'קמט, אך רוב ילדותו עברה עליו בגאלאנטה ובנאג'סומבאט (כיום טרנבה, סלובקיה). אביו, פרידייש קודאי, עבד כגזבר בתחנות רכבת סוב בבודפשט, אחר כך בגאלאנטה ובנאג'סומבאט, והיה מוזיקאי חובב נלהב שניגן בכינור. האם, פאולינה לבית יאלובצקי, ממוצא פולני, ניגנה בפסנתר והייתה זמרת חובבת. קודאי למד לנגן בכינור בילדותו ובהמשך למד לנגן גם בפסנתר, בויולה ובצ'לו. כמו כן הוא שר במקהלת כנסייה וכתב מוזיקה, אם כי השכלתו המוזיקלית הרשמית הייתה זעומה.
קודאי, שהיה בין הראשונים שניגשו ברצינות לחקר השיר העממי, היה לאחת הדמויות החשובות ביותר בראשיתו של תחום האתנומוזיקולוגיה. החל בשנת 1905 יצא אל כפרים נידחים לאסוף שירים ובשנת 1906 כתב את התיזה שלו על שיר העם ההונגרי ("מבנה הבתים בשיר העם ההונגרי"). בערך באותו זמן פגש את המלחין בלה בארטוק והציג לפניו את שירי העם ההונגריים. השניים פרסמו יחדיו כמה קבצים של מוזיקה עממית וביצירות של שניהם ניכרת השפעתה של מוזיקה זו.
במשך כל אותו זמן המשיך קודאי להלחין והפיק שתי רביעיות מיתרים, סונאטות לצ'לו ופסנתר ולצ'לו סולו (אופוס 8, 1915), ודואו לכינור וצ'לו, אבל בהצלחה ממשית זכה רק בשנת 1923, כאשר נוגנה יצירתו פסאלמוס הונגריקוס (תהילים הונגריים) בביצוע בכורה, בקונצרט חגיגות היובל לאיחוד בודה ופשט (באותו אירוע נוגנה גם סוויטת מחול של בארטוק). בהמשך להצלחה זו, יצא קודאי לסיור ברחבי אירופהלנצח על המוזיקה שלו.
בהמשך החל קודאי לגלות עניין רב בבעיות החינוך המוזיקלי וכתב כמות גדולה של מוזיקה חינוכית לבתי ספר, ואף ספרים באותו נושא. לעבודתו בתחום זה הייתה השפעה עמוקה על החינוך המוזיקלי, הן בארצו והן מחוצה לה. כמה פרשנים מתייחסים לרעיונותיו כ"שיטת קודאי", אם כי נראה שזה כינוי מטעה, שכן קודאי לא יצר שיטה מקיפה, למעשה, אלא קבע מערכת עקרונות שיש למלא אחריהם בחינוך המוזיקלי.
קודאי המשיך גם להלחין להרכבים מקצועיים, עם "מחולות מָארוֹשסֶק" (1930, בגרסאות לפסנתר סולו ולתזמורת מלאה), "מחולות גלנטה" (1933, לתזמורת), "וריאציות הטווס" (1939, בהזמנת תזמורת הקונצרטחבאו המלכותית לרגל חגיגות היובל לייסודה) וה"מיסה ברוויס" (1944, לסולנים, מקהלה, תזמורת ועוגב), בין יצירותיו המוכרות יותר.
הסוויטה מן האופרה שלו "הארי יאנוש" (1926) התפרסמה גם היא ברבים, אם כי הפקות של האופרה במלואה היו מעטות.
קודאי נשאר בבודפשט בשנות מלחמת העולם השנייה ופרש מן ההוראה בשנת 1942. בשנת 1945 היה לנשיא המועצה ההונגרית לאמנויות, ובשנת 1962 קיבל את אות הרפובליקה העממית של הונגריה. שאר המשרות שהחזיק בהן היו נשיאות המועצה הבינלאומית למוזיקה עממית ונשיאות כבוד של האגודה הבינלאומית לחינוך מוזיקלי.בין השנים 1946–1949 מילא את תפקיד היושב ראש של האקדמיה ההונגרית, שעם חבריה נמנה משנת 1945 (חבר בהתכתבות עוד משנת 1943).הוא מת בבודפשט בשנת 1967, אחת הדמויות המכובדות והנודעות ביותר בעולם האמנות ההונגרי.
אשתו הראשונה של קודאי הייתה יהודייה. בשנת 1948 הוא כתב עיבוד למקהלה של משפט מסידור התפילה היהודי: "ברוך שם כבוד מלכותו לעולם ועד".
בשנת 1966, שנה לפני מותו של קודאי, הוקמה רביעיית קודאי, רביעיית מיתרים המנציחה את שמו. בשדרת אנדראשי בבודפשט הוקם מוזיאון קטן לזכרו. הוא נחשב כיום לאחד מגדולי המלחינים ההונגרים.
ב-1973 הוקם בעיר הולדתו של קודאי, קצ'קמט, מכון לחינוך מוזיקלי להקניית תפיסותיו של קודאי למחנכים מוזיקליים מרחבי העולם[1]. כיום מהווה המכון שלוחה של האקדמיה למוזיקה ע"ש פרנץ ליסט בבודפשט. המכון הפנימייתי ממוקם בבית מנזר בן כ-200 שנה, ומבוסס על לימודים אינטנסיביים בכל מקצועות המוזיקה, ובעיקר (על פי דרכו של קודאי) שירה ושירה רב-קולית.
אשתו הראשונה הייתה אמה שנדור (במקור- שלזינגר) , מלחינה ומתרגמתיהודייה, אחותו של הפוליטיקאי ההונגרי-יהודיפאל שאנדור. המלחין ארנה דוהנאני הקדיש לה את הוולס לפסנתר לשתי ידיים אופוס 3 ווריאציות ופוגה על נושא מאת א.ג. אופוס 4 (1897) בנובמבר 1958 נפטרה אמה שאנדור-קודאי אחרי 48 שנות נישואים. בדצמבר 1959 קודאי התחתן עם שרולטה פציי, סטודנטית שלו בת 19 באקדמיה למוזיקה ויחד הם חיו בהרמוניה עד 1967 כשהוא נפטר בגיל 84 בבודפשט.