父亲的遗产要拿回，首先要搞清楚父亲是否有遗产可继承。
1.如果父亲生前己经赠予给继母了，那么就没有可以继承的遗产了。
2.如果父亲生前订立了有效遗嘱，确定继母为继承人，那么也儿子无法继承。
3.如果父亲生前没有订立遗嘱，按照法律继承，那么继母和儿子共同继承父亲的遗产。
这个首先要看存折是否是父母确定给他的，如果确定是父母留给他个人的，那么别人无权干涉。
如果不是父母留给他的，那么属于所有子女的共同财产，只要属实，可以到法院起诉，要求他交出存折，所有子女平均分配。
父母遗留下的东西，除非父母指定给哪一个子女那就属于哪一个子女，属于遗产赠予。如果父母没有指定给哪一个子女，那么就属于共同财产，所有的子女都应该平均分配。
如果一个人霸占而不拿出来，那么，别的子女可以通过法律途径来要求他交出遗产。
儿女霸占老人财产会构成侵占罪，根据《老年人权益保护法》第二十二条 老年人对个人的财产，依法享有占有、使用、收益和处分的权利，子女或者其他亲属不得干涉，不得以窃取、骗取、强行索取等方式侵犯老年人的财产权益。
老年人有依法继承父母、配偶、子女或者其他亲属遗产的权利，有接受赠与的权利。子女或者其他亲属不得侵占、抢夺、转移、隐匿或者损毁应当由老年人继承或者接受赠与的财产。