О деятельности скопцов царскому правительству стало известно поздно, только в 1770 году, когда тысячи людей уже были оскоплены. Состоялся судебный процесс. "Белые голуби" - так называли себя скопцы - были биты кнутом и сосланы в Ригу и в Сибирь... Однако - как это ни странно - у скопцов в целом были неплохие отношения с православной церковью и с государством. Известно, что с Селивановым часто встречались и подолгу беседовали весьма высокопоставленные люди Российской империи. Является историческим фактом, что Селиванов - по свидетельству современников человек большой воли и ума - произвел большое впечатление и на русского императора Александра I в то время, когда император лично (!) посетил его. Источники говорят, что Селиванов "был от государя и от вдовствующей государыни Марии Федоровны щедро награжден и, кроме того, имел жалованные от государя три богатых кафтана..."
В обществе скопцов было много богатых людей - и Селиванов приобрел даже некоторую популярность тем, что с размахом строил православные храмы. В самой Москве, по некоторым данным, в начале 19 века скопцов было около 1.000 человек, всего в России их насчитывалось, (по данным Большой Советской Энциклопедии), ни много ни мало - 6 тысяч.
Серьезные осложнения в отношениях скопчества с самодержавием произошли на почве политической: скопцы, к которым примыкал царский камергер Еленский, выработали документы "Проект о переустройстве России" и "О божественной канцелярии", в которых были изложены намерения захвата политической власти в государстве, причем предусматривалось введение в правительство и в важнейшие государственные учреждения должности государственных пророков, обязанных возвещать властям волю Святого Духа. Сам Селиванов должен был стать депутатом от Святого Духа при императоре, т. е. его главным советником. Этого скопцам простить не могли - и началось их массовое переселение в Сибирь. Был также осужден и сослан Кондратий Селиванов.