谢衍是谢晋4个孩子里唯一智利正常的，谢衍一生未婚，也没有生下孩子，他害怕自己身上会有隐性基因，假如生下的孩子像两个弟弟一样，也是对女方的不负责任。

谢衍在2008年去世前夕立遗嘱时，写过：“我的遗产，75%留给阿四，25%留给父母”。由此可见谢衍对于自己的小弟是多么的照顾有加，他常常觉得是他聪明的智商是两个弟弟给自己的，而他唯一能做的就是对弟弟更好。