诈骗案件的中间人不退钱的，由侦查机关对涉案财物进行追缴，追缴后确认属于被害人的，会进行退赔。如果无法追缴的，被害人可以提起民事诉讼，要求诈骗人员赔偿。
一、非法集资的追讨办法有哪些
非法集资构成非法吸收公众存款罪、集资诈骗罪等犯罪的，非法集资来的钱属于非法所得的部分，一般予以没收。但没收财产以前犯罪分子所负的正当债务，需要以没收的财产偿还的，经债权人请求，应当偿还。属于被害人财产而被被告人非法占有、处置的，应当依法予以追缴或者责令退赔。被害人提起附带民事诉讼的，人民不予受理。追缴、退赔的情况，可以作为量刑情节考虑。经过追缴或者退赔仍不能弥补损失，被害人向人民民事审判庭另行提起民事诉讼的，人民可以受理。此外，对于非法集资的犯罪行为人涉案财物可以予以查封、扣押、冻结，在诉讼终结后，返还集资参与人。涉案财物不足全部返还的，按照集资参与人的集资额比例返还。
二、收赃怎么样定罪
这个涉嫌的罪名是掩饰、隐瞒犯罪所得、犯罪所得收益罪。《刑法》规定：明知是犯罪所得及其产生的收益而予以窝藏、转移、收购、代为销售或者以其他方法掩饰、隐瞒的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金;情节严重的，处三年以上七年以下有期徒刑，并处罚金。根据刑法规定，对相关财物的处理有追缴，责令退赔，返还，没收，上缴国库这几种方式。一、追缴：对于犯罪分子的违法犯罪所得尚存的情况，侦查机关和公诉机关在案件侦查、审查起诉过程中，就应当随时予以追缴。二、责令退赔：在犯罪分子违法所得原物及款项无法追缴的情况下，司法机关应责令犯罪分子退赔。三、返还被害人或没收、上缴国库：对于追缴、责令退赔的财物，有两种处理方法：1，其中属于被害人的合法财产且可以返还被害人的情况下，应当返还被害人,。2，在无被害人或虽有被害人但无法返还被害人，或者是违禁品或供犯罪所用的本人财物的情况下，则予以没收后上缴国库。
三、诈骗一万退赃扣押手机会退吗
根据我国刑法规定，诈骗数额达到一万元的，将构成诈骗罪。如果被机关认定为涉案财物，机关将予以退还。对于追回的手机，如果手机被认定为是赃物，将不予退还。如果手机与案件无关，将退还被扣押的手机。对犯罪分子非法取得的一切财产，应该要追回或者责令退还赔偿。还应该要及时返还被害人的合法财产，没收违禁品和用于犯罪的个人财产。《中华人民共和国刑法》第六十四条规定：犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。