Может ли бывший муж отсудить у меня ребенка

Родительские права - Калининградская область

Здравствуйте! я разведена с мужем, у меня двое несовершеннолетних детей по суду остались со мной, но по договоренности мой 9летний сын проживает с отцом, он там ходит на хоккей.получилось так, что он немного с мальчиками на хулиганил и нами занялись соответствующие органы.мне говорят забрать ребенка, а папа сходил в администрацию и сказал мне, что все в порядке, он будет жить там, в суд надо отнести заявление, чтоб органы опеки установили фактическое место жительства, а мое присутствие там не нужно.может ли он у меня забрать ребенка каким либо образом? я от него отказываться не хочу и не буду.я должна давать согласие на его опеку или он таким образом хочет меня привлечь к ответственности?