Der Ursprung der Berber liegt in Nordafrika und reicht weit in die frühe Geschichte der Domestizierung des Pferdes durch den Menschen im zweiten Jahrtausend v. Chr. zurück. Schon im antiken Griechenland, später bei den Römern und während des gesamten Mittelalters waren Pferde aus Nordafrika und nordafrikanische Söldner die begehrtesten Tributgüter, Kriegsbeute und diplomatisches Druckmittel.
Nomaden wie die Touareg züchteten Berber, wahrscheinlich betrieben sie sogar Reinzucht. Im Gegensatz zu anderen Völkern, die Pferde züchteten, waren Stuten für sie die wertvollsten Tiere, so dass sie sogar im Hauptzelt schliefen und (fast) nicht zum Verkauf standen.
Während der Kolonisierung durch Frankreich wurde die Zucht reinblütiger Berber nur in abgelegenen Rückzugsgebieten von Rebellen fortgesetzt, weshalb auch heute noch die ursprünglichsten Typen der Rasse weitab von den Staatsgestüten im Hinterland zu finden sind.
Die Population der reinblütigen Berber ist heute sehr klein, es gibt keine verlässlichen Statistiken. Optimistische Schätzungen gehen von einer Gesamtpopulation von 2500 Pferden weltweit aus.