На сайте КриптоПро есть страница “Центр загрузки”: https://www.cryptopro.ru/downloads. Нашел там интересную утилиту cspclean.exe:
То есть, я сначала удаляю КриптоПро, перезагружаюсь, запускаю утилиту по очистке того, что не смогло удалиться первый раз и опять перезагружаюсь. Вроде верно запомнил…