Porter est né à Peru, dans l’Indiana, le seul enfant survivant d’une famille riche. Son père, Samuel Fenwick Porter, était pharmacien de profession. Sa mère, Kate, était la fille gâtée de James Omar «J.O.» Cole, «l’homme le plus riche de l’Indiana», qui avait fait fortune dans la ruée vers l'or en Californie, puis investi dans les terres boisées et détenait de généreux gisements de charbon et de pétrole. Il dominait toute la famille. Dire qu'il en était le "patriarque" est peu dire... J.O. Cole a construit aux parents de Cole Porter une maison sur sa propriété de «sa» région de Peru, connue sous le nom de Westleigh Farms. Après le lycée, Porter n’est retourné dans la maison de son enfance que pour des visites occasionnelles. Ainsi, Cole Porter (1891-1964) a été élevé dans un milieu très confortable, ce qui est une différence avec beaucoup d’artistes de son époque.
La mère de Porter, qui avait une forte volonté, l’adorait et a commencé sa formation musicale dès son plus jeune âge. Il apprend le violon à l’âge de 6 ans, le piano à 8 ans. Mais il n’aimait pas le son dur du violon et son énergie s’est donc tournée vers le piano.
Pendant ses années de formation, il jouait du piano deux heures par jour. Il a écrit sa première opérette (avec l’aide de sa mère) à 10 ans. Elle a falsifié son année de naissance enregistrée, la changeant de 1891 à 1893 pour le faire paraître plus précoce. Il semblait donc qu’il était très brillant «pour son âge».
Son père, un homme timide et peu sûr de lui, a joué un rôle moindre dans l’éducation de Porter, bien qu’en tant que poète amateur, il ait pu influencer les dons de son fils pour la rime et la mesure. Le père de Porter était également un chanteur et pianiste talentueux, mais la relation père-fils n’était pas forte.
Son grand-père, J.O. Cole destinait Cole à une carrière dans le business ou la magistrature. Dans cet esprit, en 1905, il l’a envoyé dans une école préparatoire dans le Massachusetts, la Worcester Academy. Porter a apporté un piano droit avec lui à l’école et a découvert que la musique et sa capacité à divertir lui permettaient de se faire facilement des amis. Porter réussissait bien à l’école et rentrait rarement à la maison pour lui rendre visite. Il est devenu major de promotion et fut récompensé par son grand-père par un voyage en France, en Suisse et en Allemagne.
C'est à la Worcester Academy que Cole Porter a rencontré une influence importante dans sa musicalité, le Dr. Daniel Webster Abercrombie. Son professeur lui a enseigné la relation entre les mots et le rythme, et entre les paroles et la musique dans les chansons.
Cole a cité plus tard les leçons d’Ambercrombie: «Les mots et la musique doivent être si inséparablement liés l’un à l’autre qu’ils paraissent comme un.»