За отказ от участия в военных сборах нет ответственности - ни административной, ни уголовной. Даже получив повестку лично под расписку, можно отказаться от участия в военных сборах.
Но если вы согласитесь участвовать в военных сборах, назад пути не будет. Вы будете считаться военнослужащим. А это значит, что на вас распространяется уголовная отвественность (глава 33 УК РФ) за преступления, совершенные против военной службы.