“胡”本来是匈奴人自称的音写“天之骄子”的意思。历史上，西汉政府为了稳定边疆，准许匈奴人迁居北方。此时，汉人方开始以“胡人”代称匈奴。东汉末年，为解除匈奴“惧必为寇”的隐患，在曹操的动议之下，又将大批匈奴分别迁居到今山西省各地，与汉人杂居。

羯族原本役属于匈奴部族，所以，历史上也被称作匈奴别部。羯族主要杂居于今榆社、武乡一带。“胡人”本是游牧民族，内迁后仍有大部分人以放牧为生，一部人则开始学习农耕。他们的到来，对改变内地单一的农耕文化结构起到积极的作用。由于民族风俗和地域文化的不同，在很长一段时期，汉族人都对外来的胡人有一种歧视心理。胡人有许多人不愿意或不具备条件学习汉族文化，所以，他们当中就有许多文盲。在当时来说，从事放牧牛羊的人，一般都是家庭贫困，仅有“一技之长”的胡人，所以，汉族人就把放牛的人称作牛胡，把放羊的称作羊胡。后来，虽然石勒称帝后颁布了《禁胡令》，不允许大家称内迁各少数民族为“胡人”，但民间还是把这种称呼一直流传下来了。

时至今日，榆社人仍称放羊的人为羊胡，而在榆社县北寨乡一带，则仍称放牛的人为牛胡。

羊胡的称呼明显带有一种歧视和讽刺，比如，榆社人在说某一个人穿得破烂不整，又不懂礼节，举止粗鲁时，常好用的一句话就是：“看你羊胡呀的，像个甚嘞！”