永嘉二年，他正式称帝，年号“永凤”。他在位期间，用贤纳谏、恭俭勤劳，极具政治头脑和政治手腕。加速和深化了中原与少数民族的交流和融合。公元310年，刘渊去世，葬于永光陵，谥号光文皇帝，庙号高祖。刘渊是西汉时期匈奴首领冒顿单于的后裔。汉高祖刘邦将一位宗室之女，作为和亲公主嫁给冒顿单于，并与冒顿单于相约为兄弟，所以，冒顿单于的子孙都自认是大汉王朝的亲戚，以刘氏为姓。
东汉光武帝刘秀建武二十二年（公元46年），天降大旱，给予居住在蒙古大草原一带的匈奴致命打击，将强大的匈奴一分为二。分裂成南、北两块。北匈奴西迁与欧洲民族融合，从此在中国历史上消失。南匈奴西南迁移至山西，宁夏和甘肃一带。班超出使西域后，匈奴势力萎缩，成了东汉附属。三国时期，曹操为防止匈奴，将南匈奴分成左右南北中五个部落。
每个部落由匈奴人统领，刘姓人为司马（统领军队的文职官员，又称部帅）。刘豹祖上冒认汉姓，所以就成了匈奴左部的司马。所以，刘渊出于这种家庭，很早就接触的汉文化和匈奴武艺。刘渊七岁时他的母亲呼延氏去世，他伤心得捶胸顿足，嚎啕大哭，旁人都被他的悲伤所感动，宗族、部落的人都赞赏他的孝顺。咸熙年间（264―265年），刘渊作为人质住在洛阳，受到当时曹魏权臣司马昭厚待。
泰始年间（265年―275年）以后，王浑多次在晋武帝司马炎面前推荐他，于是晋武帝召见刘渊，与他交谈，非常赏识。匈奴左部司马刘豹去世，刘渊赶回本部，继任部帅。刘渊在任期间，严明刑法，禁止各种奸邪恶行，他不看重财物，爱好施舍，与他人相交，推诚相见。于是匈奴五部的豪杰都纷纷投奔到他的门下。晋武帝死后，外戚杨骏辅政，为拉拢人心，树立私恩，任命刘渊为建威将军、五部大都督，封爵为汉光乡侯。
元康末年（300年），刘渊因为部人叛逃出塞而被免官。不久成都王司马颖镇守邺城，上表推荐刘渊担任宁朔将军、监五部军事。晋惠帝期间，因皇后贾南风干政，毒杀太子，引起“八王之乱”，当时，刘渊正在邺城（今河南安阳北部），眼见天下动荡，心中暗喜，但不敢轻举妄动。刘渊回到属地，秘密召见匈奴五部首领盟誓，刘渊被无补推举为大单于。
“八王之乱”中，刘渊乘乱得了不少好处：永安元年（304年），司马颖击败司马乂，成为皇太弟，任命刘渊为屯骑校尉。不久，东海王司马越和陈昣等与晋惠帝征讨司马颖，驻扎在荡阴。司马颖任命刘渊为代理辅国将军，负责北城防守诸事务。等到晋惠帝六军战败时，司马颖任命刘渊为冠军将军，封为卢奴伯。任命刘渊为北部单于、参丞相军事。
刘渊回到左国城（今山西离石）后，刘宣等人便为刘渊上大单于的称号，刘渊对部众说：“应该做高山峻岭，怎么能甘心做低矮的小土丘呢！天下的帝王也不是固定不变的，大禹出自东戎，周文王出生在西夷，谁该做帝王，只是按德行的高低授予。现在，我们有兵众十多万，而每个人都相当于晋朝十个人，如果我们击鼓进军、摧垮晋朝，必将如同摧枯拉朽。
这样，最理想的，可以成就汉高祖一样的基业，最差的也不失做一个魏氏。虽然结果将是这样，但是晋朝的百姓不一定赞同我们。汉朝统治天下的时间久长，恩泽深入人心。所以，昭烈帝刘备仅在一州的土地上奔驰，就可以与天下相抗衡。我又是汉朝刘氏的外甥，我们的祖先曾与汉朝相约为兄弟，兄长灭亡了，弟弟来继承，不也是应该的吗？况且，我们还可以称汉，追认并尊奉蜀后主刘禅，以此来使天下人的期望归向我们。
”西晋建武元年(304年)，刘渊迁都到左国城，也就是今山西省吕梁市离石东北。不久，远方来归附的人达到数万。元熙元年（304年），刘渊在南郊筑坛设祭，自称汉王，赦免境内囚犯，建年号为元熙，追尊刘禅为孝怀皇帝，建造汉高祖以下三祖五宗的神位进行祭祀，立妻呼延氏为王后。署置百官，任命刘宣为丞相，以崔游为御史大夫，宗室刘宏为太尉，其余的人授官各有等差，国号为汉（史称汉赵、前赵）。
皇太弟、成都王司马颖与刘渊交战，刘渊起初节节败退。侍中刘殷、王育规劝刘渊道：“殿下您从起兵至今已一年，然而，只据守在偏远的地方，威望还未远震，如果真的能够命令将士四出攻击，抓住机会，大胆地决战，斩杀刘琨，平定河东，建立皇帝的名号，向南大举进军，攻克长安，并将它作为国都，再率领关中的兵众席卷洛阳，就像转动指掌一样容易。
