Eiropas heraldikas pirmsākumi meklējami XII gs. Rietumeiropā heroldu darbībā, kuri turnīros izskaidroja bruņinieku ģerboņu nozīmi. Vēlākos gadsimtos tika izveidotas heraldijas - iestādes, kuras uzraudzīja konkrēta ģerboņa "autortiesību" ievērošanu. Taču pašu ģerboņu (pareizāk, protoģerboņu) vēsture ir daudz senāka, jo jau akmens laikmeta kultūrās sastopam īpašas zīmes, sejas krāsojumu, galvasrotas, tetovējumus, kuru vienīgā funkcija ir paust tā īpašnieka piederību konkrētai dzimtai, klanam, sociālajam statusam vai rangam, nodrošināja atpazīstamību. Bībelē lasām: "Ikviens lai nostājas pie sava pulka nozīmes, - pie emblēmas, kas apzīmē viņa tēva namu..." (IV Mozus gr., 2:2). Līdz ar to daudzi elementi no senajiem laikiem - piemēram, persiešu Sasanīdu impērijas simbols grifs, Saladina emblemā esošais ērglis, gallu karavīru bruņucepures rotājošie ragi, spārni, zvērādas u.c., - tika pārņemti viduslaiku Eiropas ģerboņos.

Sistemātiski (mantojami, dzimtu apzīmējoši) ģerboņi Rietumeiropā parādījās XII gs. Viens no senākajiem heraldisko zīmju attēlojumiem ir sienassega Baijē baznīcā, kurā izšūta Heistingsas kauja starp Normandijas hercogu Gijomu un Anglijas karali Haraldu Godvinsonu. 72 epizodēs vieniem un tiem pašiem varoņiem ir dažādām emblēmām un krāsām rotāti vairogi, neviena no šīm zīmēm nav atrodama viņu pēcnācēju ģerboņos; savukārt viņu karogos redzamās emblēmas lielākā daļa ir kļuvušas par to pēcnācēju ģerboņu elementiem. Arī abus naidīgos karaspēkus apzīmē karogi ar konkrētām emblēmām: krusts normāņiem un drakons angļiem. Savukārt pirmais Anglijas karalistes karalis, kuram bez dzimtas simbola parādijās arī individuālais ģerbonis, bija Ričards Lauvassirds.

Visticamāk, dzimtu ģerboņu ieviešanu diktējuši praktiski apsvērumi: XII gs. sākumā notika pāreja skandināvu "kaskas" tipa ķiveres, kurā seja nebija aizsegta (vai aizsegta daļēji, ja no pieres daļas lejup bija vērsts vertikālais virsdegunes aizsargs), un slēgto "poda" tipa ķiveri. Līdz ar to bruņinieks kļuva anonīms un ārējas pazīšanās zīmes kļuva vitāli nepieciešamas. Otrs iemesls bija krusta kari, kuros piedalījās tik plašas karotāju masas, ka karaspēka vienību (kuras visas veidoja lielo aristokrātu karadraudzes) savstarpējai atpazīšanai un manevrētspējai bija nepieciešamas atpazīšanas zīmes. Bez tam musulmaņu karaspēka daļām un to vadoņiem jau bija savas emblēmas, kas praksē pierādīja to lietderīgumu.

Ģerboņa figūru un krāsu izvēle heraldikas rašanās laikā bija haotiska un atkarīga tikai no bruņinieka gaumes un fantāzijas lidojuma. Tikai Renesanses laikā radās emblemātika, simbolu saistīšana ar alegorijām un literāriem tekstiem, kas vēlāk ļāva radīt daudz skaistu leģendu par kādu ģerboņu izcelšanos un tajos attēloto zīmju simbolisko jēgu.