元朔二年（公元前128年）初春，春寒料峭，张骞一行人在大月氏国逗留了一年多，数次劝说月氏国王无效，张骞决定返回大汉。
张骞为躲避匈奴，决定绕道走塔里木盆地南端，从昆仑山北麓的山谷中穿行。张骞一行人一路长途跋涉，经过莎车，于阗，鄯善等地，计划最后通过羌人部落返回大汉。他们一路上穿越沙漠，跨越崇山峻岭，历经千辛万苦最后成功抵达青海羌人部落。
当张骞一行人翻越巍峨高耸的阿尔金山，踏足羌人聚集的高原。他们心想只要通过羌人部落，就是大汉边境。就在他们满心欢喜时以为即将结束十余年的旅途回归故土时，意外来临了，一队羌人骑兵截住了他们。
羌人骑兵校尉军官拦住张骞一行人的去路，将他们包围起来。厉声问道：“你们是什么人？来此地有何贵干？”
张骞上前施礼恭敬地答道：“将军，我们是大汉的使臣，借道贵地返回大汉，请将军允许我们通过，我们将感激不尽，日后必有报答。”
羌人将军思考了片刻后，拒绝道：“不行，你们汉朝人是匈奴的敌人，我不能放你们过去。”
张骞不解地问道：“将军这是为何？汉朝虽与匈奴有仇怨，但向来与羌人秋毫无犯，不知将军为何要阻拦我们？”
羌人将军无奈解释道：“目前我羌人部落已经依附于匈奴，一旦被匈奴人得知我们放任汉朝使臣离去，必将迁怒于我们，恕我不能放你们离开，而且我将把你们解送到匈奴。”
张骞闻言面如死灰，大声悲呼道：“老天啊，你为何如此不公！”就这样张骞一行人被解送到匈奴王廷。
匈奴单于伊稚斜收到消息，召来张骞戏谑道：“汉使，我们又见面了，你永远无法逃脱本单于的手心，哈哈哈！”伊稚斜放肆地大笑声响彻牙帐。
见张骞神情漠然，一句话也不说就这么呆呆地站着，伊稚斜收敛住笑声，继而感慨道：“说实话，汉使，本单于倾佩你的意志与忠诚。在我匈奴被扣押了十余年依旧坚守使命，百折不挠。你是个英雄，我匈奴敬佩你这样的英雄，本单于虽然不会放任你离开，但也不会为难你。本单于会把你的妻儿带来，让你们一家团圆。今后你和你的随从就作为匈奴人，生活在这片草原上，不要再妄想回归汉朝了。”
张骞一行人又重新回到了曾经居住了十年的老地方。可是张骞心中的激情没有被现实的残酷浇灭，张骞的意志与忠诚没有丝毫动摇。
就这样，张骞一行人重复着以前的生活，替匈奴人养马牧羊。寒来暑往，秋收冬藏，时间就这样过去了一年多。期间张骞一直在寻找逃跑的机会，直到元朔三年（公元前126年）匈奴内部发生了动乱。张骞见逃跑的机会来了便马上带领妻儿及随从向南逃回汉朝。
本来张骞只准备带余下为数不多的随从逃离，因为随从与他一样坚贞不屈，不避千难万险。张骞在心中立下誓言一定要带随从们一起回归汉朝。他的随从由长安城出发时的一百多人，到如今只剩下不到三十人。他们或死于疾病，或死于沙漠，或被饿死，或被渴死，或摔下万丈深渊，或掉入冰窟。
他打算再次抛弃匈奴妻儿，可是匈奴的妻儿在第一次被抛弃后，依然坚贞不渝地等待张骞归来，他们的坚贞不渝深深地打动了张骞的心。匈奴妻子对张骞说：“你虽然是个汉朝人，而我是个匈奴女人，汉匈之间彼此仇恨，可是你是我的丈夫，不管是天涯海角，还是刀山火海，我和孩子都会永远跟随你。”
于是张骞一行人趁乱，在夜色的掩护下向南疾驰，可是这次没有那么幸运。他们被匈奴的小队骑兵发现，最终只有张骞和向导甘父，匈奴妻儿四人成功逃脱，其余随从为了掩护张骞与匈奴骑兵搏斗战死了。他们死得悲壮！张骞强忍着悲伤，经过一夜疾驰四人终于逃离匈奴的领地。
张骞一行四人在短暂的休息后，继续前行。他们穿过了草原，翻越了山脉，一路上风餐露宿，历经千辛万苦。当他们远远望见长安的城墙时，心中的喜悦和激动无法言喻。
张骞四人终于抵达长安城下，仿佛用尽了全身的力量，无力地跪倒长安城门前。他们的衣衫褴褛，身上布满了伤痕，但他们的眼中闪烁着坚定的光芒。
守城军士发现了张骞等人，给予他们食物和水。
张骞经过补充后，恢复了些许力气，断断续续地向守城军官说明自己的身份。守城军官不敢怠慢，马上向上禀报。
内侍秋福接到消息后也是不敢耽误，急忙来到武帝刘彻的寝殿向刘彻禀报。
此时刘彻正在翻阅大臣的上书，被突然打扰，不满地呵斥道：“谁在殿外喧哗？”
秋福躬身答道：“陛下，您盼了十余年的汉使张骞，他从西域归来了。”
刘彻乍听之下，一脸不可置信道：“是谁？谁回来了？”
秋福郑重地又重复一遍说道：“陛下，就是您盼了十余年的汉使张骞，他从西域归来了。”
刘彻的情绪很激动，他原来以为张骞一直杳无音信已经死了，没想到张骞居然活着回来了。
刘彻激动地下令道：“马上带他来见朕。”随后又摆了摆手道：“带张骞去承明殿，长安城二千石以上的大臣全部都来，马上准备礼乐！”刘彻要给张骞极大的礼遇迎接英雄的归来。
秋福奉刘彻的命令马上下去准备了。
很快凯旋乐响起，承明殿这个君臣平时朝议的庄重殿堂汇集了长安城所有二千石以上的高官。众位大臣包括武帝刘彻在内都在翘首以盼张骞的到来。
只见张骞衣衫褴褛，手持皇帝符节，披发赤脚，缓缓走向大殿。黝黑的面庞久历风霜地吹打，看起来很疲惫，但是眼神中闪烁着坚韧的光芒。张骞扑通一声跪在刘彻的面前，众位大臣见状也忍不住掩面垂泪。
张骞见到日夜思念的陛下，眼泪再也抑制不住，向刘彻哭诉道：“臣，奉陛下命令出使西域归来，臣回来晚了。”
刘彻激动地上前扶起张骞，心中计算着时间，缓缓开口道：“整整十三年，朕盼了你整整十三年，张骞你到底去了哪里？这么多年杳无音信，朕以为你已经……”
随后，张骞一五一十地将自己十三年的所见所闻和自己所遭遇的一切艰难险阻禀报给刘彻。在场的众人无不被张骞的意志与忠诚折服。
张骞的话给刘彻带来极大的震撼，直接改变了刘彻的认知。为表彰张骞的功劳，刘彻下令封张骞为博望侯，提拔张骞为太中大夫，封甘父为奉使君。刘彻还下旨抚恤已经阵亡的随从们，赐予他们家属百金。
几日后张骞给刘彻的上书中不仅向刘彻讲述了匈奴的情况，还包括自己亲自访问的西域各国及更西边的国家如大宛、康居、大月氏和大夏诸国的情况，而且从这些地方又初步了解到乌孙、奄蔡、安息、条支、身毒等国的许多情况，诸如他们的特产、人口、城市、兵力等
张骞还在上书中向刘彻详细阐述了自己的推测。原来张骞在大月氏停留期间，曾经跨过妫水到达大夏蓝氏城。张骞在蓝氏城见到了蜀地产的邛竹制品和蜀布。打听之下才知道这是大夏东南方向的商人贩卖来的商品，由此可知，此地距离蜀地的距离应该不远。
于是刘彻下令张骞出使西南诸夷。