- координата X

- координата У

- величина нажатия

- величина наклона

- азимут.

Естественно, системы, использующие динамическую подпись для подтверждения документов, имеют большую эффективность.

Разработано много методов идентификации динамической подписи.

Существующие методы идентификации основаны на применении того или иного признака в идентификациии.

Признак называется глобальным, если он извлекается из всей подписи (например, длина траектории подписи, полное время записи, средняя скорость, среднее ускорение, время поднятия пера).

Признак называется локальным, если он извлекается из каждой точки подписи (координаты, значения скорости и ускорения).

Признак называется сегментарным, если подпись поделена на сегменты и признак получен из целого сегмента.

Положив в основу определенные признаки, выделяют два разных подхода к идентификации динамической подписи.

1. Параметрический подход производит вычисление и сравнение значений глобальных признаков, или параметров, подписи. Значения признаков шаблонных подписей сохраняются на карте. Множество знначений признаков иногда называются “сжатием” подписи.
2. Второй подход, называемый функциональным, предполагает значимыми значения всех выбранных локальных признаков подписи и осуществляет поточечное сравнение шаблонной и тестовой подписей с использованием множества этих значений. Этот подход обычно требует больше информации о подписи. Например, если дана обычная подпись, семплированная со скоростью 200 Гц, возможно получить 1000 и более точек; если в каждой точке вычисляются значения 25 признаков, то для одной подписи имеем 25000 значений признаков, необходимых для сравнения с таким же количеством значений признаков других подписей.

В данной работе рассмотрим подробнее параметрический подход к идентификации подписи.

Основные проблемы:

• Какое количество глобальных признаков необходимо для идентификации?
• Требуется ли какое-либо преобразование подписей (например, изменение размера, сглаживание) до вычисления признаков?
• Сколько подписей использовать для вычисления шаблонной подписи?
• Будет ли шаблонная подпись регулярно обновляться?
• Как вычислять расстояние между шаблонной и тестовой подписями?

Рассмотрим основные исследования, проведенные с использованием параметрического подхода.

Lorette  [3] использует следующие 7 геометрических и динамических признаков, инвариантных относительно поворотов и масштабирований:

• количество соединенных компонентов (1+число поднятий пера);
• число петель;
• данные о полных накопленных фазах подписи;
• полная продолжительность записи;
• продолжительность соединенных компонентов;
• средняя и максимальная скорость в соединенных компонентах.

Все переменные были нормализованы к среднему значению 0 и стандартному отклонению 1, расстояние было вычислено с использованием нормы Евклида. База данных 203 подписей, взятых с 14 волонтеров (по  15 подписей с каждого участника), была использована для оценки предложенной техники.

Данные были классифицированы с помощью иерархической классификации, используя только по 5 подписей каждого автора. Было получено 14 классов – система сама определила число классов. Оставшиеся 10 подписей были привязаны к ближайшим классам. Правильность произведенной классификации 91,7%. Итеративный процесс, используемый для улучшения классификации, позволил достичь правильности классификации 93,6%. В эксперименте не использовались поддельные подписи.

Hastie, Kishon, Clark, Fan [2] описали метод идентификации подписей, состоящий из 5 шагов:

1. Сглаживание – для усреднения ошибки измерения используется интерполяция кубическими сплайнами.
2. Вычисление скоростей подписей.
3. Time Warping – вычисляется функция трансформации времени так, что находится соответствие между шаблонной и проверяемой подписями.
4. Сегментация – подпись сегментируется на последовательность сегментов, называемых символами (letters), с использованием областей низкой скорости (низкая скорость – меньше 15% от средней скорости).
5. Усреднение – оценка шаблонной подписи.

Тестовая подпись проходит с 1 по 4 шаг. Расстояние между шаблонной и тестовой подписями вычисляется в конце шага 3; если же здесь решение не найдено – в конце шага 4. Метод демонстрирует использование данных, записанных с помощью графического планшета, который захватывает координаты (х, у) и нажатие пера.

Техника, основанная на применении Байесовских нейронных сетей к идентификации рукописной on-line подписи, была представлена в работе Chang и др. [1]. Предложенный метод идентификации проводился на китайских подписях. В проведенном исследовании было использовано множество из 16 признаков: полное время, количество сегментов, средняя скорость, соотношение ширины и высоты, отношение плотностей верхней и нижней (а также левой и правой частей). Исследователи использовали базу данных 80 человек, содержащую 800 подлинных и 200 поддельных подписей. Были получены следующие результаты: FRR составила 2%, FAR – 2,5%.

Nelson, Turin, Hastie [4] предложили множество из 25 признаков, которое включало 2 временно-зависимых признака, 6 признаков, связанных со скоростью и ускорением, 4 связанных с формой признака, 8 признаков, дающих плотность распределения углов касательной, 4 признака, представляющих секторальные плотности угловых изменений, и признак корреляции между соответствующими компонентами скорости пера. Авторы использовали три разных метода вычисления расстояния между шаблонной подписью и тестовой подписью: евклидово расстояние, расстояние Махалонобиса и метод квадратичного дискриминанта. Описан простой метод выбора признаков, он состоит в вычислении коэффициентов стандартного отклонения каждого из признаков от среднего значения и упорядочение признаков в соответствии с их коэффициентами. Используя меру Евклида, исследователи определили наилучшие 10 из 25 признаков и получили результаты: FRR=0,5%, FAR=14%, которые оказались приемлемыми в приложениях для кредитных карт.

Методы, использующие динамическую подпись для подтверждения документов, более перспективны.

Существующие методы идентификации основаны на применении того или иного признака в идентификации.

1. Параметрический подход производит вычисление и сравнение значений глобальных признаков, или параметров, подписи. Значения признаков шаблонных подписей сохраняются на карте. Множество знначений признаков иногда называются “сжатием” подписи.
2. Второй подход, называемый функциональным, предполагает значимыми значения всех выбранных локальных признаков подписи и осуществляет поточечное сравнение шаблонной и тестовой подписей с использованием множества этих значений. Этот подход обычно требует больше информации о подписи. Например, если дана обычная подпись, семплированная со скоростью 200 Гц, возможно получить 1000 и более точек; если в каждой точке вычисляются значения 25 признаков, то для одной подписи имеем 25000 значений признаков, необходимых для сравнения с таким же количеством значений признаков других подписей.

Рассмотрим функциональный подход к проблеме идентификации динамической подписи.

Основные проблемы:

• Какое количество локальных признаков должно быть использовано?
• Как должно производиться сравнение, если подлинные подписи склонны к вариации?
• Как будет происходить сегментация подписи?
• Как вычислять расстояние между шаблонной и тестовой подписью?

Рассмотрим исследования, проведенные с использованием функционального подхода к распознаванию динамической подписи.

В работе [2] использовался метод, в котором для каждой подписи были извлечены особые, или критические точки, например, точки начала и конца штриха, точки изменения траектории. Количество штрихов было использовано как глобальный признак. Локальные признаки – пространственные и временные – были извлечены из координат x и у. Предложенный метод был протестирован на двух базах данных. Первая база данных содержала 520 подписей – 10 подписей для каждого из 52 авторов, собранных во время одного сеанса. Вторая база данных была расширением первой и содержала всего 1232 подписи 102 авторов, причем у 17 из авторов было собрано более десяти подписей в течение одного года во время многократных сессий. Двадцать человек произвели по 3 подделанных подписи каждый (а всего 60) после просмотра оригинальных подписей. Лучший коэффициент ошибок с использованием общего порога – FRR – 3,3%, FAR – 2,7%. Лучший коэффициент с использованием зависимого от автора порога – 2,8% FRR и 1,6%FAR.

Входом в систему идентификации при регистрации нового пользователя является набор обучающих подписей, введенных пользователем. Обучающие данные проходят предварительную обработку, после осуществляется извлечение признаков. Данные сохраняются в базе данных под уникальным номером (ID). Из обучающих данных определяется порог для оценки совпадений. При идентификации входом в систему является тестовая подпись вместе с предъявляемой информацией об ее авторе. Применяется предварительная обработка, происходит извлечение признаков. Затем подпись сравнивается с каждой обучающей подписью, взятой из базы данных на основании предъявленного идентификатора автора. Результирующие значения разностей объединяются в одно значение, и далее при использовании индивидуального порога для каждого автора, подпись принимается как подлинная или отвергается как поддельная. Входной сигнал графического планшета или пера может быть очень неровным. Пространство для записи подписи может зависеть от разных приложений, кроме того используемое перо может влиять на гладкость и размер подписи. Для сглаживания подписи обычно используется метод, основанный на фильтре Гаусса. Для сравнения пространственных признаков подписи из их представления должны быть устранены временные зависимости. Это достигается ресэмплингом подписи с одинаковым шагом. Определенные точки такие, как начальная и конечная точки строки, точки изменения траектории, несут в себе очень важную информацию. Эти точки, называемые критическими, извлекаются перед предварительной обработкой. Позиции точек сохраняются в течение процессов ресэмплинга и сглаживания.

Строкой называется последовательность точек, через которые проходит перо, прикасаясь к бумаге. как глобальный признак. Из координат х и у извлекается ряд локальных признаков, которые могут быть поделены на две категории – пространственные и временные. Пространственные – это статистические признаки, которые извлекаются из формы подписи.

Локальные пространственные признаки: (1) разности dх и dy между координатами х и у двух последовательных точек, (2) у – абсолютное значение у-координаты относительно центра подписи, (3) – синус и косинус угла с осью Ох – sina и cosa, (4) b – кривизна, (5) значение серого в окрестности  9х9.

Рис. 1. Вычисление признаков

Признаки вычисляются в точке p_i, в двух предшествующих точках p_i-1 и p_i-2 и двух следующих точках p_i+1 и p_i+2. Изменения координат х и у есть изменения относительно последующей точки p_i+1. Абсолютное значение у – это координата у для каждой повторно выбранной точки после предварительной обработки. Угол a  это угол между осью х и прямой, проходящей через точки p_i и p_i+1. Признак кривизны – это угол между линиями  и . Признак изображения вычисляет 9 серых значений в окрестности сэмплированной точки. Окрестность пикселей 9х9 делится на квадраты 3х3, значение серого вычисляется как сумма пикселей, попавших в данное окно.

Наряду с временным порядком точек важным признаком является скорость записи. Существует два разных варианта  для извлечения данного признака: (1) абсолютная (нормализована с помощью средней скорости записи) и относительная скорости в каждой ресэмплированной точке; (2) абсолютная и относительная средние скорости между двумя критическими точками.

Рис. 2. Вычисление скорости

Скорость V_* между двумя последовательными критическими точками и скорость V_· между двумя точками вычисляются как расстояния между этими точками, так как эти точки равноудалены во времени

После извлечения в каждой точке локальных признаков подписи выбираются для сравнения две подписи. Каждая подпись описывается набором признаков, извлеченных в каждой точке. Поэтому подпись может быть представлена как строка, т.е. последовательность векторов признаков, размер которых определяется количеством локальных признаков. Глобальные признаки в данное представление не включены. Метод совпадения строк (string matching), известный также как dynamic time warping – хорошо известный метод сравнения строк разной длины. Он находит совпадение между точками в двух строках так, что сумма разностей между каждой парой выровненных точек минимальна.

Чтобы найти минимальную разность должны быть найдены все возможные совпадения. Эффективное решение основано на динамическом программировании. Данный метод является расширением базового подхода, разрешая включение строк с ломаными штрихами, он также включает штраф, препятствуя совпадению строк с большими разницами в количестве обнаруженных штрихов. После выравнивания строк в общую меру несходства включается разница между количеством штрихов в двух подписях. Формула общего несходства между строкой входящей подписи (I) и строкой шаблона (T):

где Dist(T,I) – мера расстояния, полученная после выравнивания двух строк T и I, SP – штраф для совпадающих строк с разным количеством штрихов, |S_T-S_t| – разность между количествами штрихов шаблона и входной подписи, Norm_Factor(N_T, N_t) – максимально возможное расстояние между двумя строками длины N_Tи N_t, масшабируемое до постоянного множителя.

На этапе идентификации тестовая подпись подлежит сравнению со всеми подписями множества шаблонов. Исследованы три основных метода комбинации индивидуальных значений несходства (между входом и одним из шаблонов) в одно значение: (1) минимум всех значений несходства, (2) среднее, (3) максимум.

После вычисления значений несходства должно быть принято решение об аутентичности или поддельности подписи. Для этого результат совпадения должен быть сравнен с порогом. Если значение несходства больше порога, подпись отклоняется, иначе принимается. Порог может быть выбран одинаковым для всех или индивидуальным для каждого автора.

Преимущество общего порога состоит в том, что для нахождения оптимального порога можно использовать данные всех регистрируемых авторов. Вычисляются несходства между всеми зарегистрированными в системе авторами. Значение порога выбирается на основе минимума ошибки.

Для адаптации процесса идентификации к свойствам отдельных авторов используется порог, зависимый от автора. Этот порог может быть получен только из регистрируемых данных автора. Однако для оценки надежности зависимого от авторов порога требуется большее, чем обычно, число подписей. Обычно, чтобы избежать этого, начинают с общего порога и затем модифицируют его для каждого автора добавлением специального компонента автора.

В работе [3] для идентификации подписей используется пять временных последовательностей: координаты х и у, нажим, наклон и позиция, а также три производные последовательности: угол траектории касательной, скорость движения траектории и радиус кривизны. Авторы определили, что если вычислить первые и вторые производные каждой из последовательностей, то всего временных последовательностей будет 24.

Значения функций были нормализованы для получения нулевого среднего значения и модуля стандартного отклонения, равного единице. На основе этих последовательностей была построена модель подписи с использованием скрытых моделей Маркова. Эффективность идентификации была протестирована с использованием базы данных из 15 подлинных и 15 поддельных подписей для каждого из 50 человек. Тесты были проведены с использованием одинакового порога для всех – результат EER 4,83%, был снижен до 0,98% с использованием порогов конкретных пользователей.

Заключение

Сделать вывод о том, какая из описанных техник распознавания подписи лучше, достаточно сложно.

Однако в последнее время стало очевидным, что функциональный подход к распознаванию подписей превосходит чисто параметрический. Современные методы идентификации либо основаны на функциональном подходе, либо сочетают функциональный и параметрический подходы.

Исследования [1] показывают, что использование чисто параметрического подхода не может обеспечить величину EER менее 5%. Поэтому в новейших разработках используется функциональный подход и в проводимых исследованиях достигается высокая эффективность – EER менее 5%. Разработка систем распознавания on-line подписи – активно развивающаяся область и результаты исследований будут улучшаться.

Однако стоит отличать, какие методы применимы в определенной ситуации. Понятно, что для подтверждения документов неприменимо, например, снятие отпечатков пальцев или анализ походки человека. Поэтому естественным средством для подтверждения документов человека является его рукописная подпись. Причем если раньше для введения подписи использовалась только бумага и для сравнения подписей требовалось привлечение квалифицированных экспертов, то сегодня в связи с активным развитием информационных технологий для введения подписи широко применяются графические планшеты [1]. Человек вводит на экране планшета свою подпись, в этом время в текстовом файле записывается информация о подписи: через определенные промежутки времени фиксируется очередное положение пера (координаты х и у), величина нажатия на планшет (как правило 0…1024), величина азимутального угла пера (т.е. угла между осью экрана, соответствующей 0°, и проекцией пера на экран), величина наклона (т.е. угла между пером и его проекцией на экран).

Рис. 1. (а) Информация, собираемая с планшета. (b)  Углы азимута и наклона пера относительно плоскости графического планшета

Таким образом, формируются временные последовательности: координат х и у, нажатия в каждой точке, азимута и наклона. Здесь речь идет уже о динамике ввода подписи – о динамической подписи. Например, для того, чтобы подделать такую подпись, недостаточно знать только изображение подписи, надо суметь еще и подделать и динамику ее введения, что вызывает трудности по сравнению с обычной статической подписью (оставленной на бумаге). Информация о подписи в этом случае носит многомерный характер. В настоящее время широко разрабатываются методы распознавания динамических подписей и реализующие их программные комплексы.

Пользователь первоначально вводит несколько образцов подписи. С каждой из них собираются временные характеристики (координаты х и у, нажатие, наклон, азимут). Посредством генерирования значений этих характеристик формируется шаблон подписи пользователя. И в дальнейшем все вводимые пользователем подписи для подтверждения его личности сравниваются с этим шаблоном. Для принятия решения определяется значение порога, позволяющего определить подлинность введенной подписи. Если величина сходства между шаблоном и введенной подписью больше порога, то подпись принимается, иначе отклоняется.

Вообще говоря, все существующие методы идентификации разделяются в зависимости от того, какие признаки лежат в их основе. Если в основе идентификации лежат глобальные признаки (например, длина траектории подписи), то это параметрические методы. Если в основе – локальные признаки (например, значения скорости или ускорения, взятые в каждой точке подписи), то это функциональные методы [2, 3]. Если же в основе метода лежат и локальные, и глобальные признаки, то это гибридные методы.

Среди различных биометрических характеристик, предложенных и исследованных в литературе, распознавание рукописных подписей в связи с социальным и законным признанием является одной из наиболее привлекательных характеристик.

Подписи могут быть характеризованы с помощью набора признаков. Выбор признаков является достаточно важным критерием, так как неправильный выбор признаков может ухудшить точность биометрической системы.

Биометрические параметры подписи могут быть классифицированы на две категории: статические (оффлайн) и динамические (онлайн). Оффлайн подпись содержит информацию только о форме подписи. Она может быть использована для простой верификации подписей в документах [5]. Онлайн подпись содержит также информацию об изменении динамических признаков (скорость, ускорение или давление) во время процесса записи. В этом случае форма подписи представляется с помощью горизонтальных и вертикальных траекторий движения пера.

Динамические характеристики регистрируются специальными устройствами – графическими планшетами. Благодаря использованию динамических признаков верификация подписи является более надежной, чем верификация с использованием традиционной оффлайн подписи. Динамические характеристики невидимы и делают подпись более уникальной и лучше характеризуют пользователя. Верификация личности на основе биометрических атрибутов очень интересна, например, если эффективность верификации на основе динамической подписи достаточно высока, то подпись может заменить многие широко используемые методы авторизации, например, пароль, PIN-код и т.д.

С практической точки зрения биометрическая система – это система распознавания шаблонов, которая распознает пользователя на основе анатомических (например, отпечатки пальцев) или поведенческих (например, подпись) характеристик. Биометрический шаблон должен храниться в базе данных. Позже, шаблон используется для сравнения, что необходимо для распознавания личности. Биометрическая система может работать в режиме верификации или идентификации. Верификация включает подтверждение или отказ заявленной личности пользователя. Могут быть выделены следующие основные группы методов верификации подписи:

• Методы на основе локальных и глобальных признаков. Глобальные признаки извлекаются из всей подписи, а локальные – из ограниченной области подписи. В этих методах анализируются вертикальные и горизонтальные проекции вместе с высотой и шириной подписи. Эти подходы называются параметрическими.
• Функциональные методы. В этом подходе динамические признаки подписи регистрируются как временные последовательности, содержащие информацию об изменениях во времени признаков подписи. Этот набор включает динамические признаки, описывающие форму подписи (координаты х и у), локальное давление, скорости и ускорения. Это так называемые поведенческие методы анализа подписи.
• Областные методы. Подпись каждого человека разбивается на области. Для каждой области подготавливается кодовая книга. Признаки подписи вместе с соответствующей кодовой книгой способны улучшить результаты классификации.
• Комбинированные (гибридные) методы. Этот подход основан на комбинировании разных методов из числа вышеприведенных.

Тем не менее, практическое развертывание технологии распознавания подписи является более медленным по сравнению с другими хорошо известными технологиями такими, как отпечатки пальцев и сетчатка глаза. Слабая эффективность технологии распознавания рукописной подписи в основном объясняется следующими аспектами, характерными для биометрического класса биометрических данных:

1)    Внутриклассовая изменчивость (разница среди образцов одного и того же пользователя) обычно выше, чем в иных биометрических технологиях;

2)    Низкая степень постоянства подписи со временем, вследствие чего уменьшается точность системы распознавания;

3)    Возможность изучить подпись способствует возникновению двух разных сценариев подделок:

• Случайная подделка – случай, когда атакующий старается получить доступ к системе верификации с использованием собственной биометрической характеристики, заявляя личность другого пользователя. Это наиболее общий случай для определения эффективности системы. В нем, как правило, происходит настройка системы распознавания для достижения требуемой эффективности, т.е. порог для принятия решения определяется при рассмотрении случайных подделок.
• Умелая подделка – этот случай является уникальным именно для поведенческого класса биометрии. В этом случае атакующий имеет некоторые сведения о подписи определенного автора и пытается получить доступ к системе, имитируя подпись. Обычно такие умелые подделки могут объясняться внутриклассовой изменчивостью подписи автора, что ухудшает эффективность распознавания. Этот случай особенно важен при обнаружении подделок подписи в чеках или официальных документах.

Указанные выше поведенческие аспекты превращают распознавание рукописной подписи в весьма проблемную область исследований.

В работе [1] авторы предлагают метод верификации подписи на основе динамических признаков, причем пространство признаков соединено с множеством мер подобия. Признаки и связанные с ними коэффициенты подобия создают новые составные признаки подписи. Составные признаки далее сжимаются с помощью процедуры сжатия Хотеллинга. В других подходах обычно используется или только одна мера подобия, ли специальный вид разбиения, или методы нечеткой логики. Эти методы сильно зависят от начальных параметров и признаки в них, как правило, выбираются вручную. В предлагаемом методе отличительные признаки и меры подобия определяются автоматически, они помогают отделить данную подпись от остальных подписей базы данных.

Пусть подлинные подписи автора Q формируют первый класс подписей p₁, поддельные подписи формируют второй класс подписей p₂.

S^W – подписи пользователя W, которые должны быть верифицированы. Пусть этот пользователь заявляет себя как автор Q, этот факт должен быть проверен.

Матрица Х строится на основе класса p₁. Эта матрица содержит значения коэффициентов подобия, вычисленных между парой подписей класса p₁. Матрица В включает подобия между всеми подписями автора Q, эти подобия должны быть вычислены на основе выбранных признаков и выбранных коэффициентов подобия.

На этапе верификации должны быть установлены наиболее отличительные признаки и меры подобия автора Q. Это означает, что известна матрица В.

На следующем этапе вычисляется множество D евклидовых расстояний между вектором  и всеми последовательными векторами.

В этом множестве выбирается к наименьших расстояний. Верифицируемая подпись  определяется как подпись класса  p₁ или p₂ с помощью метода к ближайших соседей.

Точность предложенного метода достаточно высока, она была оценена на наборах данных SVC2004 и MCYT. Предложенный метод верификации является весьма ценным и превосходит традиционные биометрические методы, где обрабатываются только исходные данные. 

1.2. Распознавание онлайн подписей с помощью комбинации реальных динамических данных и синтетических сгенерированных статических данных

В работе [4] предлагается новый подход к распознаванию рукописных подписей, основанный на объединении оффлайн и онлайн подписей. Этот метод состоит в создании из онлайн подписи динамически улучшенных синтетических оффлайн образцов, используемых далее в процессе распознавания. В предложенной работе онлайн подпись описывается тремя временными последовательностями – координатами х и у и давлением р во время процесса написания.

На входе принимается онлайн подпись (определяется последовательностями х, у и р) и на выходе система возвращает синтетическую оффлайн подпись, определяемую двумя изображениями: I_{улучшенное}, включающее распределение уровня серого, толщину штрихов, информацию о скорости, давлении оригинальной онлайн подписи, и I_{поднятия пера}, которое генерируется из информации о траектории подписи, захваченной в моменты времени, когда перо не касается дисплея.

Первоначально требуется предварительная обработка реальных онлайн данных подписи. Она включает масшабирование и интерполяцию.

Для того, чтобы получить простое штриховое изображение, масштабированные и интерполированные координатные последовательности при р>0 отображаются на белом фоне черным цветом, в результате получается черно-белое изображение.

Улучшенное изображение подписи получается сверткой каждого пикселя простого штрихового изображения с определенным ядром. Эти ядра моделируют пятно от конца пера в каждом пикселе на основе разных двумерных гаусcовых функций, включающих информацию о давлении и скорости из онлайн подписи.  После этого применяется виртуальный профиль чернил для создания финального улучшенного изображения. Оно основано на перекрывании каждого полседовательного пятна так, чтобы они соответствовали действию шариковой ручки. Далее гистограмма виртуальной траектории корректируется реальной гистограммой пера.

Поднятия пера не отображаются в изображении статической подписи. Однако эти траектории представляют отличительные признаки, которые могут быть использованы в ситуации умелой подделки, так как подделыватель стремится смоделировать именно «чернильное» изображение, не включающее невидимую траекторию поднятия пера. Использование этой информации в оффлайн верификации может улучшить точность статической синтетической подписи по сравнению с ее реальной версией. Траектория поднятия пера генерирует новое изображение I_{поднятия пера.}

Таким образом, каждая синтетическая подпись определяется двумя разными изображениями: I_{улучшенное} (которое включает информацию о давлении и скорости из реальной динамической подписи) и I_{поднятия пера} (получена из траектории подписи во время поднятия пера).

Результаты эксперимента показывают, что поведение синтетических образцов очень схоже с поведением реальных оффлайн образцов. Хотя онлайн подпись имеет высокий потенциал в задаче распознавания, она включает не всю информацию, присутствующую в характеристике подписи. Поэтому оффлайн данные могут быть весьма ценным качеством, способным повысить эффективность системы распознавания. Более того, генерация синтетических статических подписей может стать реальной альтернативой между статическим и динамическим подходом к проблеме распознавания подписей и будет способствовать повышению уровня развития технологии распознавания рукописных подписей.

2.1. Оффлайн-система распознавания рукописной подписи со смешанной зависимостью от автора

Стандартные системы распознавания рукописных подписей являются зависимыми от автора, т.е. для каждого автора создается определенный классификатор. Однако требовать от каждого автора большое число подписей для формирования его классификатора не представляется удобным. В этой связи создаются независимые от каждого конкретного пользователя классификаторы. Более того, современные системы распознавания (зависимые от пользователя и независимые) обеспечивают высокую точность благодаря объединению признаков, но увеличивают вычислительную сложность. Поэтому в работе [2] предлагается гибридная независимая-зависимая от автора оффлайн система распознавания рукописных подписей, как компромисс двух существующих подходов. Когда пользователь регистрируется в системе, применяется независимый от автора классификатор. После того, как будут собраны подписи автора, независимый классификатор адаптируется к его подписям. И таким образом, зависимый классификатор заменяет общий независимый от автора классификатор.

Эксперименты, проведенные на базе данных бразильских подписей и GPDS подтверждают, что предложенная гибридная система верификации обеспечивает сопоставимую с современными зависимыми или независимыми системами точность и меньшую вычислительную сложность.

Эффективность предложенной системы определяется рассмотрением двух режимов работы:

• Независимый от автора режим верификации – цель этого режима состоит в измерении минимальной точности системы. Предполагается, что только одна подпись приобретается на этапе регистрации, она используется для задачи верификации.
• Зависимый от автора режим – цель этого режима состоит в определении разумного числа образцов пользователя, необходимых для создания надежного зависимого от автора классификатора.

Результаты эксперимента подтверждают гибкость и устойчивость предложенного подхода. Средняя ошибка при этом достигает 5,38% на бразильской базе подписей и 13,96% на базе подписей GPDS.

2.2. Оффлайн-система верификации подписей на основе искусственной иммунной системы распознавания      

В статье [6] предлагается новый метод верификации оффлайн подписей на основе искусственной иммунной системы распознавания. Для генерации признаков здесь предлагается два разных дескриптора. Первый дескриптор – это градиентные локальные бинарные шаблоны, второй – признак длинного запуска, описывающий топологию подписей рассмотрением самой длинной серии пикселей текста. Эффективность предложенной системы была проверена на наборах данных CEDAR и GPDS-100. Полученные результаты показывают, что предложенная система превосходит современные методы распознавания подписей.

Первоначально изображения подписей преобразуются в бинарный формат. Далее они направляются в модуль генерации признаков для извлечения необходимой информации. Характеристические векторы подписей представляют набор антигенов подлинных и поддельных классов. Иммунная система распознавания подписей обучается на этих антигенах для построения множества ячеек памяти, описывающий изменчивость в этих двух классах. Множество ячеек памяти используется на этапе верификации. Каждая запрашиваемая подпись подвергается тем же процедурам бинаризации и извлечения признаков. Затем вычисляется множество сходств относительно всех ячеек памяти. Наконец, запрашиваемая подпись приписывается подлинному или поддельному классу на основе метода к ближайших соседей.

Кроме того, вводятся два признака, описывающие градиентные и топологические свойства рукописных подписей. Градиентные признаки получены с использованием градиентных локальных бинарных шаблонов, которые комбинируют градиентную информацию с текстурными признаками, полученными из однородных шаблонов. В качестве топологических признаков предлагаются признаки длинного запуска, которые рассматривают длину самой длинной последовательности пикселей в различных направлениях.

Средняя ошибка распознавания составляет 1,59% на наборе подписей CEDAR и 11,73% на наборе GPDS.

В последние годы одним из самых увлекательных и перспективных направлений исследований в области обработки изображений и распознавания образов являлось распознавание рукописных символов. Некоторые исследователи сосредоточили внимание на новых методах и идеях, которые бы позволили сократить время обработки, а также обеспечили более высокую точность распознавания. В общем случае, распознавание рукописных символов классифицируется на два типа такие, как оффлайн и онлайн. В оффлайн распознавании рукописные символы обычно оцифровываются оптическим сканером и оконченное письмо бывает доступно как изображение. Онлайн методы превосходят противостоящие им оффлайн методы в связи с доступностью временных данных в онлайн методах. Однако разные приложения такие, как сортировка почты, обработка банковских чеков, чтение документов и распознавание почтовых адресов, требуют оффлайн методы распознавания рукописного ввода. Поэтому оффлайн распознавание рукописного ввода продолжает быть активной и перспективной областью исследований и требует изучения новых техник, которые позволили бы улучшить точность распознавания символов.

2. Извлечение признаков

Извлечение признаков по-прежнему является одним из основных строительных блоков системы распознавания рукописных символов. Эффективность системы распознавания главным образом зависит от извлечения эффективных признаков и выбора подходящего классификатора. Этап извлечения признаков анализирует сегментную единицу (часть) текста и выбирает набор признаков, которые могут быть использованы для однозначной идентификации этой единицы. Полученные признаки затем используются как вход в классификатор почерка. Эти признаки являются уменьшенным представлением содержимого изображения, которое сосредоточено на сохранении наиболее важных для задачи идентификации характеристик. Цель извлечения признаков состоит в идентификации шаблонов с помощью минимального числа признаков, эффективных в распознавании классов шаблонов. Методы извлечения признаков главным образом подразделяются на три основные категории:

1. Статистические.

2. Структурные.

3. Глобальные преобразования.

1. Статистические

Представление изображения документа с помощью статистического распределения точек рассматривает изменения стиля до некоторой степени. Обычно это более предпочтительно для легкого извлечения и быстрых вычислений и также, когда не требуется восстановление изображения.

1.1. Зона

Изображение символа подразделяется на блоки, известные как зоны. Когда горизонтальная плоскость разделяется на m линий и вертикальная плоскость на n линий, то число сформированных зон будет mxn. Затем для конкретной области зоны вычисляется средняя интенсивность уровня серого. Зональная интенсивность блока ограничена конкретной областью вместо всего изображения. Форма символа будет однозначно определять каждый набор символов и, следовательно, используется как признак.

Рисунок 1. Изображение символов I и Z, зонирование изображений на 9 зон

1.2. Пересечение

Другим популярным статистическим признаком является количество пересечений линейным сегментом контура.

1.3. Проекция

Изображение символа делится на к областей, как показано на рисунке 2, и тогда проекция, взятая в горизонтальном направлении, даст горизонтальную проекцию, и аналогично в вертикальном направлении и по диагонали даст соответственно вертикальную и диагональную проекции, как показано на рисунке 2.

Рисунок 2. Пример клеточной проекции. Геометрические фигуры на рисунке представляют бенгальскую цифру восемь в стандартной форме (слева) и в рукописной искаженной форме (справа). Следует заметить, что даже с этими искажениями клеточная проекция обоих символов весьма схожа.

2. Структурные

Разные локальные и глобальные свойства набора изображений символов могут быть представлены геометрическими и топологическими признаками, имеющими высокую устойчивость к стилю почерка и искажению.

2.1. Топологическая структура

Символ представлен выделением и подсчетом разных топологических признаков таких, как точки максимума, минимума и экстремума, ниже и выше порога, количество петель, количество горизонтальных и вертикальных линейных сегментов и концевых точек.

2.2. Геометрические свойства

Символ представляется такими геометрическими свойствами, как отношение ширины к высоте, относительное расстояние от первого пикселя к последнему сверху вниз и может включать пиксельное расстояние от самого левого до самого правого.

2.3. Деревья и графы

Символы преобразуются в набор топологических примитивов, включающих штрихи, петли, точки пересечения, концевые точки и т.д. Затем эти примитивы формируются с использованием атрибутов или графов отношений. Представление этих графов осуществляется двумя методами. Первый метод использует координаты формы символа. Вторым методом является абстрактное представление вершин, соответствующих штрихам, и дуг, соответствующих отношениям между штрихами. Деревья используются для представления символов множеством признаков, имеющих иерархическую связь.

3. Глобальное преобразование

Методы глобального преобразования преобразуют изображение в компактную форму, которая уменьшает размерность признака. Преобразование изображения может быть представлено линейной комбинацией рядов в целом хорошо определенных функций синуса и косинуса. Первые N коэффициентов преобразования Фурье принимаются в качестве характеристического вектора конкретного символа. Так как доступно обратное преобразование, то изображение может быть восстановлено.

3.1. Вейвлет-преобразование

Вейвлет-преобразование – это метод разложения в ряд, который позволяет нам представить сигнал на разных уровнях разрешения. Сегменты изображения документа, которые могут соответствовать буквам или словам, характеризуются вейвлет-коэффициентами, эквивалентными различным уровням разрешения. Эти коэффициенты затем направляются в классификатор для распознавания.

Подписи могут быть характеризованы с помощью набора признаков. Выбор признаков является достаточно важным критерием, в связи с тем, что неправильный выбор признаков может привести к ухудшению точности биометрической системы.

Биометрические параметры подписи могут быть классифицированы на две категории: статические (оффлайн) и динамические (онлайн). Оффлайн-подпись содержит информацию только о форме подписи. Она может быть использована для простой верификации подписей в документах [5]. Онлайн-подпись содержит также информацию об изменении динамических признаков (координаты положения, скорость, ускорение или давление на поверхность планшета) во время процесса записи. Динамические характеристики регистрируются специальными устройствами – графическими планшетами. Благодаря использованию динамических признаков верификация подписи является более надежной, по сравнению с верификацией с использованием традиционной оффлайн-подписи. Динамические характеристики невидимы и делают подпись более уникальной, лучше характеризуют пользователя. Верификация личности на основе биометрических атрибутов является весьма интересной областью исследований. Если эффективность верификации на основе динамической подписи достаточно высока, то подпись может заменить многие широко используемые методы авторизации, например, пароль, PIN-код и т.д.

С практической точки зрения, биометрическая система – это система распознавания шаблонов, которая распознает пользователя на основе анатомических (например, отпечатки пальцев) или поведенческих (например, подпись) характеристик. Биометрический шаблон должен храниться в базе данных. Позже, шаблон используется для сравнения, что необходимо для распознавания личности. Биометрическая система может работать в режиме верификации или идентификации. Верификация включает подтверждение или отказ заявленной личности пользователя. Могут быть выделены следующие основные группы методов верификации подписи:

• Методы на основе локальных и глобальных признаков. Глобальные признаки извлекаются из всей подписи, а локальные – из ограниченной области подписи. В этих методах анализируются вертикальные и горизонтальные проекции вместе с высотой и шириной подписи. Эти подходы называются параметрическими.
• Функциональные методы. В этом подходе динамические признаки подписи регистрируются как временные последовательности, содержащие информацию об изменениях во времени признаков подписи. Этот набор включает динамические признаки, описывающие форму подписи (координаты х и у), локальное давление, скорости и ускорения. Это так называемые поведенческие методы анализа подписи.
• Областные методы. Подпись каждого человека разбивается на области. Для каждой области подготавливается кодовая книга. Признаки подписи вместе с соответствующей кодовой книгой способны улучшить результаты классификации.
• Комбинированные (гибридные) методы. Этот подход основан на комбинировании разных методов из числа вышеприведенных.

Тем не менее, практическое развертывание технологии распознавания подписи является более медленным по сравнению с другими хорошо известными технологиями такими, как отпечатки пальцев и сетчатка глаза. Слабая эффективность технологии распознавания рукописной подписи в основном обусловлена следующими аспектами, характерными для биометрического класса данных:

1) Внутриклассовая изменчивость (разница среди образцов одного и того же пользователя) обычно выше, чем в иных биометрических технологиях;

2) Низкая степень постоянства подписи со временем, вследствие чего уменьшается точность системы распознавания;

3) Возможность изучить подпись способствует возникновению двух разных сценариев подделок:

• Случайная подделка – случай, когда атакующий старается получить доступ к системе верификации с использованием собственной биометрической характеристики, заявляя личность другого пользователя. Это наиболее общий случай для определения эффективности системы. В нем, как правило, происходит настройка системы распознавания для достижения требуемой эффективности, т.е. порог для принятия решения определяется при рассмотрении случайных подделок.
• Умелая подделка – этот случай является уникальным именно для поведенческого класса биометрии. В этом случае атакующий имеет некоторые сведения о подписи определенного автора и пытается получить доступ к системе, имитируя подпись. Иногда такие умелые подделки могут объясняться внутриклассовой изменчивостью подписи автора, что ухудшает эффективность распознавания. Этот случай особенно важен при обнаружении подделок подписи в чеках или официальных документах.

Указанные выше поведенческие аспекты превращают распознавание рукописной подписи в весьма проблемную область исследований.

В настоящее время исследователи предлагают возможные пути решения проблемы распознавания подписи.