Среди различных биометрических характеристик, предложенных и исследованных в литературе, распознавание рукописных подписей в связи с социальным и законным признанием является одной из наиболее привлекательных характеристик.

Подписи могут быть характеризованы с помощью набора признаков. Выбор признаков является достаточно важным критерием, так как неправильный выбор признаков может ухудшить точность биометрической системы.

Биометрические параметры подписи могут быть классифицированы на две категории: статические (оффлайн) и динамические (онлайн). Оффлайн подпись содержит информацию только о форме подписи. Она может быть использована для простой верификации подписей в документах [5]. Онлайн подпись содержит также информацию об изменении динамических признаков (скорость, ускорение или давление) во время процесса записи. В этом случае форма подписи представляется с помощью горизонтальных и вертикальных траекторий движения пера.

Динамические характеристики регистрируются специальными устройствами – графическими планшетами. Благодаря использованию динамических признаков верификация подписи является более надежной, чем верификация с использованием традиционной оффлайн подписи. Динамические характеристики невидимы и делают подпись более уникальной и лучше характеризуют пользователя. Верификация личности на основе биометрических атрибутов очень интересна, например, если эффективность верификации на основе динамической подписи достаточно высока, то подпись может заменить многие широко используемые методы авторизации, например, пароль, PIN-код и т.д.

С практической точки зрения биометрическая система – это система распознавания шаблонов, которая распознает пользователя на основе анатомических (например, отпечатки пальцев) или поведенческих (например, подпись) характеристик. Биометрический шаблон должен храниться в базе данных. Позже, шаблон используется для сравнения, что необходимо для распознавания личности. Биометрическая система может работать в режиме верификации или идентификации. Верификация включает подтверждение или отказ заявленной личности пользователя. Могут быть выделены следующие основные группы методов верификации подписи:

• Методы на основе локальных и глобальных признаков. Глобальные признаки извлекаются из всей подписи, а локальные – из ограниченной области подписи. В этих методах анализируются вертикальные и горизонтальные проекции вместе с высотой и шириной подписи. Эти подходы называются параметрическими.
• Функциональные методы. В этом подходе динамические признаки подписи регистрируются как временные последовательности, содержащие информацию об изменениях во времени признаков подписи. Этот набор включает динамические признаки, описывающие форму подписи (координаты х и у), локальное давление, скорости и ускорения. Это так называемые поведенческие методы анализа подписи.
• Областные методы. Подпись каждого человека разбивается на области. Для каждой области подготавливается кодовая книга. Признаки подписи вместе с соответствующей кодовой книгой способны улучшить результаты классификации.
• Комбинированные (гибридные) методы. Этот подход основан на комбинировании разных методов из числа вышеприведенных.

Тем не менее, практическое развертывание технологии распознавания подписи является более медленным по сравнению с другими хорошо известными технологиями такими, как отпечатки пальцев и сетчатка глаза. Слабая эффективность технологии распознавания рукописной подписи в основном объясняется следующими аспектами, характерными для биометрического класса биометрических данных:

1)    Внутриклассовая изменчивость (разница среди образцов одного и того же пользователя) обычно выше, чем в иных биометрических технологиях;

2)    Низкая степень постоянства подписи со временем, вследствие чего уменьшается точность системы распознавания;

3)    Возможность изучить подпись способствует возникновению двух разных сценариев подделок:

• Случайная подделка – случай, когда атакующий старается получить доступ к системе верификации с использованием собственной биометрической характеристики, заявляя личность другого пользователя. Это наиболее общий случай для определения эффективности системы. В нем, как правило, происходит настройка системы распознавания для достижения требуемой эффективности, т.е. порог для принятия решения определяется при рассмотрении случайных подделок.
• Умелая подделка – этот случай является уникальным именно для поведенческого класса биометрии. В этом случае атакующий имеет некоторые сведения о подписи определенного автора и пытается получить доступ к системе, имитируя подпись. Обычно такие умелые подделки могут объясняться внутриклассовой изменчивостью подписи автора, что ухудшает эффективность распознавания. Этот случай особенно важен при обнаружении подделок подписи в чеках или официальных документах.

Указанные выше поведенческие аспекты превращают распознавание рукописной подписи в весьма проблемную область исследований.

В работе [1] авторы предлагают метод верификации подписи на основе динамических признаков, причем пространство признаков соединено с множеством мер подобия. Признаки и связанные с ними коэффициенты подобия создают новые составные признаки подписи. Составные признаки далее сжимаются с помощью процедуры сжатия Хотеллинга. В других подходах обычно используется или только одна мера подобия, ли специальный вид разбиения, или методы нечеткой логики. Эти методы сильно зависят от начальных параметров и признаки в них, как правило, выбираются вручную. В предлагаемом методе отличительные признаки и меры подобия определяются автоматически, они помогают отделить данную подпись от остальных подписей базы данных.

Пусть подлинные подписи автора Q формируют первый класс подписей p₁, поддельные подписи формируют второй класс подписей p₂.

S^W – подписи пользователя W, которые должны быть верифицированы. Пусть этот пользователь заявляет себя как автор Q, этот факт должен быть проверен.

Матрица Х строится на основе класса p₁. Эта матрица содержит значения коэффициентов подобия, вычисленных между парой подписей класса p₁. Матрица В включает подобия между всеми подписями автора Q, эти подобия должны быть вычислены на основе выбранных признаков и выбранных коэффициентов подобия.

На этапе верификации должны быть установлены наиболее отличительные признаки и меры подобия автора Q. Это означает, что известна матрица В.

На следующем этапе вычисляется множество D евклидовых расстояний между вектором  и всеми последовательными векторами.

В этом множестве выбирается к наименьших расстояний. Верифицируемая подпись  определяется как подпись класса  p₁ или p₂ с помощью метода к ближайших соседей.

Точность предложенного метода достаточно высока, она была оценена на наборах данных SVC2004 и MCYT. Предложенный метод верификации является весьма ценным и превосходит традиционные биометрические методы, где обрабатываются только исходные данные. 

1.2. Распознавание онлайн подписей с помощью комбинации реальных динамических данных и синтетических сгенерированных статических данных

В работе [4] предлагается новый подход к распознаванию рукописных подписей, основанный на объединении оффлайн и онлайн подписей. Этот метод состоит в создании из онлайн подписи динамически улучшенных синтетических оффлайн образцов, используемых далее в процессе распознавания. В предложенной работе онлайн подпись описывается тремя временными последовательностями – координатами х и у и давлением р во время процесса написания.

На входе принимается онлайн подпись (определяется последовательностями х, у и р) и на выходе система возвращает синтетическую оффлайн подпись, определяемую двумя изображениями: I_{улучшенное}, включающее распределение уровня серого, толщину штрихов, информацию о скорости, давлении оригинальной онлайн подписи, и I_{поднятия пера}, которое генерируется из информации о траектории подписи, захваченной в моменты времени, когда перо не касается дисплея.

Первоначально требуется предварительная обработка реальных онлайн данных подписи. Она включает масшабирование и интерполяцию.

Для того, чтобы получить простое штриховое изображение, масштабированные и интерполированные координатные последовательности при р>0 отображаются на белом фоне черным цветом, в результате получается черно-белое изображение.

Улучшенное изображение подписи получается сверткой каждого пикселя простого штрихового изображения с определенным ядром. Эти ядра моделируют пятно от конца пера в каждом пикселе на основе разных двумерных гаусcовых функций, включающих информацию о давлении и скорости из онлайн подписи.  После этого применяется виртуальный профиль чернил для создания финального улучшенного изображения. Оно основано на перекрывании каждого полседовательного пятна так, чтобы они соответствовали действию шариковой ручки. Далее гистограмма виртуальной траектории корректируется реальной гистограммой пера.

Поднятия пера не отображаются в изображении статической подписи. Однако эти траектории представляют отличительные признаки, которые могут быть использованы в ситуации умелой подделки, так как подделыватель стремится смоделировать именно «чернильное» изображение, не включающее невидимую траекторию поднятия пера. Использование этой информации в оффлайн верификации может улучшить точность статической синтетической подписи по сравнению с ее реальной версией. Траектория поднятия пера генерирует новое изображение I_{поднятия пера.}

Таким образом, каждая синтетическая подпись определяется двумя разными изображениями: I_{улучшенное} (которое включает информацию о давлении и скорости из реальной динамической подписи) и I_{поднятия пера} (получена из траектории подписи во время поднятия пера).

Результаты эксперимента показывают, что поведение синтетических образцов очень схоже с поведением реальных оффлайн образцов. Хотя онлайн подпись имеет высокий потенциал в задаче распознавания, она включает не всю информацию, присутствующую в характеристике подписи. Поэтому оффлайн данные могут быть весьма ценным качеством, способным повысить эффективность системы распознавания. Более того, генерация синтетических статических подписей может стать реальной альтернативой между статическим и динамическим подходом к проблеме распознавания подписей и будет способствовать повышению уровня развития технологии распознавания рукописных подписей.

2.1. Оффлайн-система распознавания рукописной подписи со смешанной зависимостью от автора

Стандартные системы распознавания рукописных подписей являются зависимыми от автора, т.е. для каждого автора создается определенный классификатор. Однако требовать от каждого автора большое число подписей для формирования его классификатора не представляется удобным. В этой связи создаются независимые от каждого конкретного пользователя классификаторы. Более того, современные системы распознавания (зависимые от пользователя и независимые) обеспечивают высокую точность благодаря объединению признаков, но увеличивают вычислительную сложность. Поэтому в работе [2] предлагается гибридная независимая-зависимая от автора оффлайн система распознавания рукописных подписей, как компромисс двух существующих подходов. Когда пользователь регистрируется в системе, применяется независимый от автора классификатор. После того, как будут собраны подписи автора, независимый классификатор адаптируется к его подписям. И таким образом, зависимый классификатор заменяет общий независимый от автора классификатор.

Эксперименты, проведенные на базе данных бразильских подписей и GPDS подтверждают, что предложенная гибридная система верификации обеспечивает сопоставимую с современными зависимыми или независимыми системами точность и меньшую вычислительную сложность.

Эффективность предложенной системы определяется рассмотрением двух режимов работы:

• Независимый от автора режим верификации – цель этого режима состоит в измерении минимальной точности системы. Предполагается, что только одна подпись приобретается на этапе регистрации, она используется для задачи верификации.
• Зависимый от автора режим – цель этого режима состоит в определении разумного числа образцов пользователя, необходимых для создания надежного зависимого от автора классификатора.

Результаты эксперимента подтверждают гибкость и устойчивость предложенного подхода. Средняя ошибка при этом достигает 5,38% на бразильской базе подписей и 13,96% на базе подписей GPDS.

2.2. Оффлайн-система верификации подписей на основе искусственной иммунной системы распознавания      

В статье [6] предлагается новый метод верификации оффлайн подписей на основе искусственной иммунной системы распознавания. Для генерации признаков здесь предлагается два разных дескриптора. Первый дескриптор – это градиентные локальные бинарные шаблоны, второй – признак длинного запуска, описывающий топологию подписей рассмотрением самой длинной серии пикселей текста. Эффективность предложенной системы была проверена на наборах данных CEDAR и GPDS-100. Полученные результаты показывают, что предложенная система превосходит современные методы распознавания подписей.

Первоначально изображения подписей преобразуются в бинарный формат. Далее они направляются в модуль генерации признаков для извлечения необходимой информации. Характеристические векторы подписей представляют набор антигенов подлинных и поддельных классов. Иммунная система распознавания подписей обучается на этих антигенах для построения множества ячеек памяти, описывающий изменчивость в этих двух классах. Множество ячеек памяти используется на этапе верификации. Каждая запрашиваемая подпись подвергается тем же процедурам бинаризации и извлечения признаков. Затем вычисляется множество сходств относительно всех ячеек памяти. Наконец, запрашиваемая подпись приписывается подлинному или поддельному классу на основе метода к ближайших соседей.

Кроме того, вводятся два признака, описывающие градиентные и топологические свойства рукописных подписей. Градиентные признаки получены с использованием градиентных локальных бинарных шаблонов, которые комбинируют градиентную информацию с текстурными признаками, полученными из однородных шаблонов. В качестве топологических признаков предлагаются признаки длинного запуска, которые рассматривают длину самой длинной последовательности пикселей в различных направлениях.

Средняя ошибка распознавания составляет 1,59% на наборе подписей CEDAR и 11,73% на наборе GPDS.

Подписи могут быть характеризованы с помощью набора признаков. Выбор признаков является достаточно важным критерием, в связи с тем, что неправильный выбор признаков может привести к ухудшению точности биометрической системы.

Биометрические параметры подписи могут быть классифицированы на две категории: статические (оффлайн) и динамические (онлайн). Оффлайн-подпись содержит информацию только о форме подписи. Она может быть использована для простой верификации подписей в документах [5]. Онлайн-подпись содержит также информацию об изменении динамических признаков (координаты положения, скорость, ускорение или давление на поверхность планшета) во время процесса записи. Динамические характеристики регистрируются специальными устройствами – графическими планшетами. Благодаря использованию динамических признаков верификация подписи является более надежной, по сравнению с верификацией с использованием традиционной оффлайн-подписи. Динамические характеристики невидимы и делают подпись более уникальной, лучше характеризуют пользователя. Верификация личности на основе биометрических атрибутов является весьма интересной областью исследований. Если эффективность верификации на основе динамической подписи достаточно высока, то подпись может заменить многие широко используемые методы авторизации, например, пароль, PIN-код и т.д.

С практической точки зрения, биометрическая система – это система распознавания шаблонов, которая распознает пользователя на основе анатомических (например, отпечатки пальцев) или поведенческих (например, подпись) характеристик. Биометрический шаблон должен храниться в базе данных. Позже, шаблон используется для сравнения, что необходимо для распознавания личности. Биометрическая система может работать в режиме верификации или идентификации. Верификация включает подтверждение или отказ заявленной личности пользователя. Могут быть выделены следующие основные группы методов верификации подписи:

• Методы на основе локальных и глобальных признаков. Глобальные признаки извлекаются из всей подписи, а локальные – из ограниченной области подписи. В этих методах анализируются вертикальные и горизонтальные проекции вместе с высотой и шириной подписи. Эти подходы называются параметрическими.
• Функциональные методы. В этом подходе динамические признаки подписи регистрируются как временные последовательности, содержащие информацию об изменениях во времени признаков подписи. Этот набор включает динамические признаки, описывающие форму подписи (координаты х и у), локальное давление, скорости и ускорения. Это так называемые поведенческие методы анализа подписи.
• Областные методы. Подпись каждого человека разбивается на области. Для каждой области подготавливается кодовая книга. Признаки подписи вместе с соответствующей кодовой книгой способны улучшить результаты классификации.
• Комбинированные (гибридные) методы. Этот подход основан на комбинировании разных методов из числа вышеприведенных.

Тем не менее, практическое развертывание технологии распознавания подписи является более медленным по сравнению с другими хорошо известными технологиями такими, как отпечатки пальцев и сетчатка глаза. Слабая эффективность технологии распознавания рукописной подписи в основном обусловлена следующими аспектами, характерными для биометрического класса данных:

1) Внутриклассовая изменчивость (разница среди образцов одного и того же пользователя) обычно выше, чем в иных биометрических технологиях;

2) Низкая степень постоянства подписи со временем, вследствие чего уменьшается точность системы распознавания;

3) Возможность изучить подпись способствует возникновению двух разных сценариев подделок:

• Случайная подделка – случай, когда атакующий старается получить доступ к системе верификации с использованием собственной биометрической характеристики, заявляя личность другого пользователя. Это наиболее общий случай для определения эффективности системы. В нем, как правило, происходит настройка системы распознавания для достижения требуемой эффективности, т.е. порог для принятия решения определяется при рассмотрении случайных подделок.
• Умелая подделка – этот случай является уникальным именно для поведенческого класса биометрии. В этом случае атакующий имеет некоторые сведения о подписи определенного автора и пытается получить доступ к системе, имитируя подпись. Иногда такие умелые подделки могут объясняться внутриклассовой изменчивостью подписи автора, что ухудшает эффективность распознавания. Этот случай особенно важен при обнаружении подделок подписи в чеках или официальных документах.

Указанные выше поведенческие аспекты превращают распознавание рукописной подписи в весьма проблемную область исследований.

В настоящее время исследователи предлагают возможные пути решения проблемы распознавания подписи.