赵充国是骑兵出身，补选为羽林卫士，他从小就学习兵法，并通晓四方少数民族的事情。后来他跟随李广利攻打匈奴，大军被匈奴人包围，汉军因为缺少粮食，死伤很多。赵充国带领100多个人拼死杀开一条血路，带领大军冲出了包围圈，他也因此身受20多处创伤。李广利向朝廷汇报了情况，汉武帝下令把赵充国带来，亲自查看了他的伤势，惊叹不已。于是汉武帝拜他为中郎，让他担任车骑将军长史一职。

汉宣帝即位后，赵充国被派到边疆驻守，他在任期间，匈奴一直不敢前来骚扰。后来光禄大夫义渠安国出使羌族部落，羌族首领希望能渡过湟水到北岸汉族人不耕种的地方放牧。义渠安国把这事上报给了皇帝。赵充国认为此举不妥，弹劾义渠安国玩忽职守。后来羌族人强渡湟水，在北岸放牧，当地的官员无法禁止，羌族各部落首领还聚集在一起，解除仇约，相互结盟。汉宣帝听说这事后向赵充国询问，赵充国回答道“：羌族人之所以好控制，是因为他们各个部落之间不团结。30多年前，西羌叛乱时，也是像今天这样解除仇约，相互结盟，然后和朝廷对抗，朝廷花了五六年的时间才把叛乱平定下来。而且以前也发生过羌族和匈奴联合起来对抗朝廷的事。不久前我听说匈奴在西方碰了钉子，于是多次派人贿赂西域各国，想离间他们和汉朝的关系，但没有成功。我怀疑匈奴现在派使者到羌族部落里面，企图故伎重演。所以我担心羌族人还会有新动向，我们要在事情没发生之前做好防备。”一个多月后，羌族首领果然派人向匈奴借兵，准备攻打西域。朝廷派遣义渠安国再次出使羌族各部落，让他区分一下哪些部落企图反叛，哪些部落站在汉朝一边。而义渠安国把羌族首领30多人召集起来后，认为他们都特别凶狠狡猾，把他们全部杀掉了，又派兵攻打那些部落的百姓，杀了1000多人。这件事激怒了羌族人，许多本来已经归附汉朝的羌人认为汉朝不守信用，于是发动叛乱。义渠安国派兵与羌人交战，吃了败仗。

当时赵充国已经70多岁了，汉宣帝认为他已经老了，于是派人去询问谁可以率兵镇压叛乱。赵充国说：“没有人能超过我的了。”

赵充国抵达前线后，先出妙计渡过了黄河，然后又识破了敌人的诱兵之计。打仗的时候，他经常派出骑兵派到远处去侦察，不做好作战的准备绝不行动。大军休息的时候，一定先把防御工事弄得足够坚固，而且特别爱惜士兵，将士们都特别敬服他。敌人多次挑战，他都坚守不出。后来抓到一个俘虏，那俘虏交待说羌人的首领们好几次都互相埋怨“：早就告诉你们不要造反，这下好了，皇上派赵将军前来镇压，听说他已经八九十岁了，特别善于用兵打仗。现在想和他决一死战，有这个可能吗？”

朝中大臣们反对赵充国的作战计划，汉宣帝也下诏责备他，赵充国上书辩解，他认为将领在外面领兵打仗，应该根据当时当地的形势和利弊来制定计划，而且应该坚守自己的主张，并再次陈述了自己的作战计划。不久皇帝同意了他的意见。

赵充国将军队开到先零羌的地盘上，先零羌防守很松懈，远远看到汉朝大军就丢弃辎重逃跑。由于道路狭窄，赵充国下令大军慢慢前进。有人建议加快行军速度，赵充国说：“穷寇莫追，现在我们缓慢前进，他们就会忙着逃走而不会掉过头来攻击我们，如果我们加快速度的话，他们看到没有逃走的希望，就会来攻打我们以求得一丝生机。”大家都同意他的看法。果然不出赵充国所料，敌人在渡河的时候因为过于慌乱而淹死了好几百人，投降和被杀的有500多人，汉军俘获牲畜10多万头，车辆4000多，取得了重大胜利。汉军乘胜进攻另一个部落，将其逼降。

就在这一年的秋天，赵充国病重，在病床上他还多次向皇帝上书，提出与少数民族和睦相处的政策主张，并建议实行屯田。后来皇帝向他咨询谁继承他的位置时，他指出众人推荐的辛汤不是合适的人选。后来辛汤还是担任了护羌校尉，结果因为酗酒得罪了羌人，导致羌人再次叛乱，最终应验了赵充国的话。