想和婚外情人分手，对方不同意(想和婚外情人分手他给的钱我应不应该还回他)

和他是婚外情，我提的分手，他不同意，就威胁我，说有我的把柄，要告诉我老公。我妥协了一段时间。那时候，他每次见面都会提醒我，说有我的把柄，我要是跟他闹，他就找人轮了我。我发现他也在抖音上，和另一女的暧昧，想想他那样威胁，我心里不舒服，分手不成，就还是继续跟他闹，他现在明显不耐烦了，对我也反感了，爱答不理，你们觉得，我用这个方式摆脱这个男人，算成功了吗？