Лайънъл Фредерик Коул е роден на 15 октомври 1931 г. Той е най-малкото от петте деца на Едуард и Паулина Нанси Коул. Неговите трима по-големи братя Еди, Айк и Нат /който е 12 години по-възрастен/ са музиканти.

„Започнах да свиря на пиано, когато бях на пет или на шест години.” – спомня си Фреди.”Музиката беше навсякъде около мен.” Сред гостите в чикагския дом, където минава младостта му, са Дюк Елингтън, Каунт Бейси и Лайънъл Хемптън. Фреди Коул винаги споменава и Били Екстайн като човек, оказал най-силно влияние върху него. „Той беше невероятен в умението си да забавлява. Научих толкова много само като го наблюдавах и бях близо до него.” Започва да пее и свири в клубовете на Чикаго още като тийнейджър. Учи музика в института „Рузвелт” в Чикаго.

Фреди се премества в Ню Йорк през 1951, където учи в Juilliard School of Music. Огромно влияние върху него оказват емблематични за жанра музиканти, с които има възможност да общува - Джон Люис, Оскар Питърсън и Теди Уилсън. Защитава Master's degree в New England Conservatory of Music. Веднага след това пътува няколко месеца с бенда на Earl Bostic, в който е заедно с Johnny Coles Benny Golson. Фреди се завръща в Ню Йорк и полага основите на кариера, която продължава изключително успешно до наши дни. Участва на живо в телевизионни и радио-предавания, които изключително много впечатляват публиката. Жител на Атланта от 1972, той и до днес ръководи групата, основана от него. Заедно с китариста Randy Napoleon, перкусиониста Curtis Boyd и басиста Elias Bailey често пътува из Щатите, Европа, Далечния Изток и Южна Америка.

Фреди записва първия си сънгъл "The Joke's on Me" през 1952 г. През 70-те години реализира още няколко албума, с които печели верни почитатели отвъд океана. Коул вярва, че срещите с побликата навсякъде по света разширява кръгозора му. Хората го слушат прави, контактът му с аудиторията е блестящ, пее на различни езици. Приликите с неговия знаменит брат Нат "Кинг" Коул са безспорни. И той свири на пиано и пее, изпълненията му са на живо, съпровождани от китара и контрабас – точно като Нат. Но неговият глас е по-дрезгав, дори „по-джази”. Всъщност, неговото фразиране е далеч по-близо до това на Франк Синатра или Били Холидей отколкото на Нат. И – не на последно място, суингира малко повече. Неговите вокали – приятни за ухото, елегантни, страхотни, добрата му артикулация, всичко това го нарежда сред най-уважаваните джаз-изпълнители. Кариерата на Коул продължава да се движи във възходяща посока. Благодарение на своя изискан музикален стил той е признат за едно от най-значителните имена сред известните американски артисти.