谢晋1923年生于浙江上虞。1941年，18岁的谢晋考入宜宾江安国立戏剧专科学校，1948年又毕业于南京国立戏剧专科学校导演系，而后走上导演之路，并一生为电影奋斗。在现实生活中，谢晋对妻儿的感情也是温暖深厚的，1947年，谢晋和徐大雯结为伉俪。无论是工作还是家庭生活，徐大雯都是谢晋的最佳拍档，她不仅烧得一手好菜，还将谢晋每部戏从剧本到电影的创作素材都装订成册，整理得井井有条。

谢晋和徐大雯育有一女三子，但遗憾的是，谢晋的三个儿子中，有两个都是患有智障的残疾儿。唯独大儿子谢衍继承了谢晋在影视上的创作天分，但为了照顾父亲和弟弟，谢衍终生未婚，到了患病不治时，依然隐瞒着家人独自安排后事。两个月前，谢衍去世，对谢晋是一个非常沉重的打击，谢晋甚至几天几夜把自己关在房中无法入睡。谢晋的三儿子从小患有严重哮喘，曾经多次走失，不治身亡时年仅38岁。而后，谢晋把精力都放在了小儿子“阿四”身上——这也是谢晋最放心不下的一个孩子：身患癫痫的阿四在生活上难以自理，日常起居都由谢晋一手包办。为了防止儿子走丢，谢晋专门为他设计了一张“身份牌”，“我叫阿四，是谢晋的儿子，家住XXX，电话XXX。”

虽然家庭多难，但谢晋依旧对生活充满希望，他曾经不止一次地表示，每次看自己拍摄的智障儿童题材影片《启明星》都会泪流满面。“从孩子出生到现在，吃了一辈子的苦，最痛苦的事情是，孩子自己不知道痛苦，痛苦的是他们的家长。”