为此，他做了大量的准备工作。
司马谈是左冯翊夏阳人，司马迁的父亲。他博学多识，曾随当时著名天文学家唐都学习天文历法知识，跟随哲学家杨何学习《易》，并对黄老之学进行过深入钻研。可是，司马谈的宏愿还没有实现，就于元封元年（前110年），病死于洛阳。死前，他郑重地把未竟的事业，嘱托给他的儿子司马迁。
司马迁是龙门人，自幼受到家庭的熏陶和良好的教育，对文史星卜之学有浓厚的兴趣。他非常好学深思，曾师事著名经学大师董仲舒、孔安国等，博通天文历法、诸子百家。
当初，在董仲舒向汉武帝上书三纲五常的时候，司马迁就对董仲舒的对答钦佩不已，一心想跟从他学习。于是，在下朝的时候，司马迁便追了上去，向走在前面的董仲舒施礼道：“董老先生，请受小生一拜，您刚才的对答真是太了不起了。”
这时的董仲舒不认识司马迁，有大臣介绍说：“他是太史公司马谈的儿子，太史公常把他带到殿下旁听。”
司马迁说：“听说董老先生特别苦学，曾经三年没有进过花园。”
董仲舒听了司马迁的话后，不禁大笑起来，说道：“是啊，确实是有三年时间不曾离开书房去光顾花园。司马迁，你欣赏我的什么观点呀？”司马迁回答说：“我推崇您的大一统。”
董仲舒又是一阵笑，说：“好，小小的年纪就如此有眼力，真不愧是太史公的儿子。”从此，司马迁便跟随董仲舒学习了。
有一次，在董仲舒的家里，董仲舒在给司马迁讲《春秋》。
司马迁便问道：“老师请赐教，《春秋》的大义是什么？”
这时，董仲舒放下手里的书简，对司马迁说道：“要知道《春秋》的大义，首先要知道孔子作《春秋》的时代背景和写作动机。”说着便站了起来，走到窗口，看着窗外树下的落叶，想到孔子晚年著《春秋》时的落寞，接着说，“孔子所处的时代是王室衰落、诸侯称霸、礼崩乐坏的时代，那个时候，臣僭君，子弑父，可谓君不君，臣不臣，朝纲不张，礼义不明，所以……”
司马迁眨了眨眼说：“所以，孔子作《春秋》以正礼义、明视听。”
“说得对。所以孔子作《春秋》是为了拨乱反正。”
不久之后，司马谈又带着司马迁乘车前往孔安国府上拜师。路上，司马谈向儿子介绍：“孔安国是长安赫赫有名的儒学大师，他精通《尚书》，他是孔子的第十一世孙。他学的《尚书》是从曲阜孔子故居的夹墙里发现的。因为是用古文写的，所以又叫《古文尚书》。”
“噢，父亲，《古文尚书》与今文《尚书》有什么不同？”
“比今文《尚书》多16篇，现在孔安国老先生已经把它译成今天通行的隶书了，你要向他学的就是今文《尚书》。”
司马迁兴奋地说：“父亲，孔安国真了不起。”
到了孔安国府上，孔安国看过司马迁问道：“在家都学了些什么？”
这时，司马迁的父亲说道：“犬子在家，就读于家乡的书院，主要学的《诗经》《论语》《周礼》，到长安后，又拜师于董夫子学完了《春秋》《左传》，现在想深造《尚书》。”
孔安国对司马迁说：“看来小公子崇尚正义，《尚书》是讲为政治国的书，你感兴趣吗？”小司马迁回道：“禀先生，《尚书》我已初学，略知一二，《书》是史官的临政记录，《书》记先王之事，长于政。”
这时，孔安国用手摸了摸雪白的胡须，点了点头，对司马谈说：“太史公，令公子将来恐怕是经国之才呀。老夫就收下这个弟子了。”
从此，司马迁便向京城里一位又一位的高师求教。
元朔三年（前126年），20岁的司马迁为了“网罗天下放佚旧闻”，进行了一次全国性漫游。他南游江淮，登会稽山，访问大禹陵，又去楚地，攀九嶷山，浮舟沅水、湘水之上，再北上齐鲁，观孔子遗风，在孟子故乡邹县峄山观看古老的乡射之礼……每到一处，必求访当地父老，搜集史事，了解风俗，考察山川。
这次漫游，不仅使司马迁搜集到了许多宝贵的史料，而且使他深刻地认识了社会，为他以后著史奠定了重要基础。回到长安后，汉武帝对这个广阔博识、学问丰富的青年人十分重视，任命他为郎中。
后来，他的父亲司马谈因为未能跟随汉武帝参加泰山封禅大礼而忧郁成病，临终前他难过地对司马迁说：“我死以后，你必为太史。做了太史，莫忘了我的遗愿。今大汉兴盛，海内一统，上有明主贤君，下有忠臣义士。我身为太史，而未能记载，愧恨不已。你一定要记住，完成我未竟之业！”
司马谈去世后，司马迁继任父职为太史。他读遍了皇家藏书处“石室金柜”收藏的文史经籍、诸子百家。五年以后，他以太史令身份和太中大夫公孙卿、壶遂一起，参加了太初元年（前104年）的历法改革。这都说明，汉武帝对他的才能是很看重的。
天汉三年（前98年），正当司马迁全力著史时，发生了李陵叛降匈奴之事。司马迁为李陵辩解，触怒了汉武帝，被下狱处以腐刑。伤残肉体的酷刑，不仅使司马迁受到剧烈的肉体痛苦，更使他的精神遭受严重创伤。年已48岁的司马迁想自杀，但他想起了父亲的遗言，想到了古代圣贤：周文王被囚禁于羑里，推演出了《周易》；孔子遭困厄，编撰了《春秋》；屈原被放逐，写出了《离骚》；孙膑受了膑刑，完成了《孙膑兵法》。司马迁终于以惊人的意志忍辱负重地生活下来，发愤要完成父亲的未竟之业。
司马迁忍辱负重，发愤著述。终于在征和三年（前90年）左右，完成了他的史著。前前后后大约用了18年的时间。时人称之为《太史公记》或《太史公书》或《太史公》。大约在魏晋以后，被称为《史记》。
《史记》是我国第一部纪传体的历史巨著。司马迁运用本纪、表、书、世家、列传5个部分，叙述了上起传说中的黄帝、下至汉武帝太初（前104―前101年）年间约3000年的历史。全书共130篇，包括十表、八书、十二本纪、三十世家、七十列传，共五十多万字。其中，“表”分为世表、年表、月表，以表列人物、事件、爵位、世系等内容；“书”记载各种典章制度及其演变；“本纪”按年代顺序记述帝王的言行、事迹；“世家”记载诸侯兴衰以及有特殊地位人物的事迹；“列传”记载各种代表人物的活动事迹。司马迁所开创的纪传体史，成为以后历代王朝正史的规范体例。
《史记》不仅记述了古代历史，还兼及当时所能了解的广大空间地域的民族和国家的文化和历史，是当时的世界历史著作。《史记》综合性的体例，内容系统，全面丰富，记录准确，条理分明，便于人们全面概括地把握历史。司马迁首创这种修史体例，形成我国史学著作的优秀传统。《史记》以其独创性、科学性、完整性、系统性远远超越了古代世界各国的史学著作。