💻 Tech-радар: Распознавание визиток на телефоне без облака: PaddleOCR, ONNX и React Native
**Приложение для обмена контактами научилось распознавать бумажные визитки полностью на устройстве**
В версии 2.0 мобильного приложения для обмена контактами на конференциях появилось распознавание бумажных визиток. Пользователь фотографирует карточку и получает контакт с разложенными по полям данными — раньше сценарий строился только вокруг QR-кода: один участник показывает код, второй сканирует и получает контакт. На реализацию ушло около трёх недель.
Главное решение проекта — снимок визитки не покидает телефон. Фотография чужой визитки содержит персональные данные третьего лица, и, как только она попадает на сервер, разработчик становится оператором этих данных со всеми обязанностями по 152-ФЗ; формулировка «мы ничего не храним, только распознаём» этого не меняет. Google Cloud Vision добавляет к этому трансграничную передачу данных, Yandex Vision — поручение обработки. Побочное следствие ограничения: обучающей выборки у проекта не будет никогда, и петля «пользователи исправляют ошибки → дообучаем модель» закрыта самим разработчиком.
Технически на Android выбор пал на PaddleOCR v5 в мобильной комплектации — детектор PP-OCRv5_mobile_det и распознаватель eslav_PP-OCRv5_mobile_rec, обученный на восточнославянских языках. Официальные конверсии PaddlePaddle в ONNX исполняет ONNX Runtime, две модели вместе весят 12,7 МБ. Штатный ML Kit не подошёл: в нём пять распознавателей текста — латиница, китайский, деванагари, японский и корейский, кириллицу не понимает ни один, класса вроде CyrillicTextRecognizerOptions не существует, а бесплатного штатного OCR для русского языка на Android нет. От LLM для этой задачи отказались: вместо присвоения 6–15 строкам одной из восьми меток она требует 125–800 МБ веса, 5–20 секунд на процессоре среднего телефона и 0,3–1 ГБ памяти, которую делит с камерой и WebView, а также охотно достраивает — допишет отчество, которого на карточке нет, или переведёт «ООО Ромашка» в «Romashka LLC», и ошибается в цифрах телефона там, где ошибку не видно глазом.
Весь конвейер написан на TypeScript прямо в коде приложения: подготовка кадра, разбор выхода дет
Категория: Технологии
Теги: #Технологии #Tech #IT #Искра