Качество
Проверено на 4 651 записях с размеченными персональными данными. Открытые датасеты, честный подсчёт, каждое исключение — с объяснением.
Найдено персональных данных
99,9%
3 437 из 3 440 размеченных значений десяти типов. Что не входит в подсчёт
Записи без ПДн остались нетронутыми
99,9%
748 из 749 «трудных» записей: номера заказов, коды, тексты с фамилиями писателей
Типов персональных данных
10
ФИО в любом падеже, паспорт, водительское, СНИЛС, ИНН, ОГРНИП, карта, телефон, почта, адрес
Обратное восстановление
100%
80 записей датасета в DOCX, XLSX, PPTX, PDF, CSV и TXT возвращаются по ключу без потерь
По типам
Что находим. Доля размеченных значений, которых после обезличивания нет в тексте.
Не в подсчёте
Что не считаем пропуском. И почему их не нужно ловить.
1 414 размеченных значений не входят в полноту — ни как найденные, ни как пропущенные. Правила применяются ко всей разметке, а не только к тому, что сервис не нашёл, иначе цифра была бы подогнана.
Синтетика генератора датасета
600
ФИО 528 · ВУ 21 · Паспорт 19 · Карта 17 · Почта 11 · Адрес 4
Английские имена внутри русских ФИО («Greenwood Percy Зиновьевна»), сломанный регистр («сВЯтослАВОВИЧ»), номера с разделителями, которых не бывает в документах («4111[1111]1111[1111]», «45хх12хх123456»). Генератор redmadrobot портил данные намеренно; в живых документах так не пишут.
Неверная контрольная сумма
403
СНИЛС 218 · Карта 120 · ИНН 65
Генераторы создают ИНН, СНИЛС и номера карт случайными цифрами; в настоящих документах контрольная сумма всегда сходится. Сервис проверяет её, чтобы не заменять номера заказов и коды.
Одиночное имя или фамилия
211
ФИО 211
«Мастер Сергей», «к доктору Ушакову» — без второй части человека не определить, а «Вера», «Надежда», «Роман» в обычном тексте — слова. Сервис намеренно заменяет имя только вместе с фамилией или отчеством.
ИНН организации
126
ИНН 126
10-значный ИНН принадлежит юрлицу — это не персональные данные.
Иностранное имя без отчества
25
ФИО 25
«Джим Кэмп», «Эсмаил Багаи» — публичные лица из новостей и книг; ни одна часть не похожа на русскую фамилию или отчество.
Артефакт подготовки датасета
15
Почта 10 · Телефон 5
Токенизатор вставил пробелы внутрь адреса почты («info@gd - asgard. ru»), отде льно размечен знак «+» от номера. Сами номера и адреса в этих записях найдены.
Контакты организации
11
Телефон 6 · Адрес 5
Бесплатные линии 8-800, офис, кабинет и этаж организации — это данные компании, а не человека.
Ошибка разметки
8
Телефон 4 · Паспорт 3 · ФИО 1
Размечено не то: БИК банка, номер заказа и «Курской области» как телефон, номер заявления и трек-номер как паспорт. Это не персональные данные.
Город без улицы и дома
8
Адрес 8
«Живу в Казани» не указывает на конкретного человека — в городе живут тысячи людей. Адрес начинается с улицы.
Ориентир, а не адрес
7
Адрес 7
«У памятника на площади Восстания», «на перекрёстке Ленина и Мира», «Дворец на Мойке» — место в городе, не адрес человека.
Примеры
Как это выглядит. Записи из датасета до и после — так их видит ИИ.
Было
Заказ так и не привезли: Сергей Новиков, 89123456789, ул. Советская 42 кв.17 — перенесите на завтра.
Стало
Заказ так и не привезли: Семён Семёнов, 89991111111, ул. [Street.1] [Building.1] кв.[Apartment.1] — перенесите на завтра.
Было
бери выше, у меня уже нервы ни к чёрту от ваших проверок. паспорт 4605 159283 и снилс 142-753-980 76
Стало
бери выше, у меня уже нервы ни к чёрту от ваших проверок. паспорт 1111 111111 и снилс 411-111-111 72
Было
Добрый день. Нужна справка о состо янии счета. Меня зовут Елена Смирнова, номер карты 5536913800001238
Стало
Добрый день. Нужна справка о состоянии счета. Меня зовут Светлана Светланова, номер карты 4000000000000002
Было
у ип иванова огрнип 308774612345672 и инн 772812345609 — нормальная практика иметь оба номера?
Стало
у ип викторова огрнип 311111111111115 и инн 511111111111 — нормальная практика иметь оба номера?
Было
Здравствуйте! Нужна консультация по ипотечным продуктам. Контакты: Ольга Петрова, olga.p@gmail.com
Стало
Здравствуйте! Нужна консультация по ипотечным продуктам. Контакты: Валентина Валентинова, user1@example.org
Было
Приедем к вам завтра в 15:00 по адресу Санкт-Петербург, ул. Гражданская 88, кв. 15. Имя мастера - Николай Федоров
Стало
Приедем к вам завтра в 15:00 по адресу Санкт-Петербург, ул. [Street.1] [Building.1], кв. [Apartment.1]. Имя мастера - Тимофей Тимофеев
Методика
Как считали.
hivetrace/pii-bench
1 810 записей · Apache-2.0
Живые обращения: чаты поддержки, доставка, банк, автосервис, HR.
Открыть датасетredmadrobot-rnd/pii_benchmark
2 841 записей · MIT
Документы, заявления, выписки, логи и «трудные» записи без ПДн.
Открыть датасет- Каждая запись отправляется в тот же сервис, что работает в приложении и API, в режиме подстановки.
- Найдено — если размеченного значения больше нет в обезличенном тексте.
- Записи без ПДн — 749 «трудных» текстов, где нечего заменять: номера заказов и договоров, коды, логи, тексты о писателях и городах. Считаем, сколько из них сервис оставил как есть.
- Не в подсчёте — значения из категорий выше: синтетика генератора, ошибки разметки, данные организаций, номера с неверной контрольной суммой и т. п.
- Файлы. Те же записи собраны в DOCX, XLSX, PPTX, PDF, CSV и TXT: в файле находится всё, что находится в тексте, записи без ПДн не меняются, а восстановление по ключу возвращает исходный текст.
Прогон от 30 октября 2026 г..
Проверьте на своих данных