Дактиль (русская дактильная азбука) — вспомогательная система русского жестового языка, в которой каждому жесту одной руки соответствует буква русского языка

Dactyl (the russian manual alphabet) is used for fingerspelling in Russian sign language.

Антропоморфный – человекообразный, уподобленный человеку

Anthropomorphic – described or thought of as being like human beings in appearance, behavior, etc.

Человеко-компьютерное взаимодействие — полидисциплинарное научное направление, существующее и развивающееся в целях совершенствования методов разработки, оценки и внедрения интерактивных компьютерных систем, предназначенных для использования человеком, а также в целях исследования различных аспектов этого использования

Human-computer interaction (HCI) researches the design and use of computer technology, focusing on the interfaces between people (users) and computers.

Жестомимический интерфейс – интерфейс взаимодействия посредствам жестов и мимики.

Interface with computers using gestures of the human body, typically hand movements, and facial expression

Введение

Робототехника играет важную роль в новой промышленной революции. Роботизация производства и внедрение аддитивных технологий набирают большую популярность. Данные процессы дополняют друг друга, так как внедрение 3D-печати существенно снижает затраты и объем работ. Робототехника становится двигателем любой индустрии, поскольку она способствует как НИОКР, так и производству изделий точной механики, электротехники, электроники, оптики, композитных материалов и т. д. [1]

Развитие робототехники уже сегодня позволяет решать различные социальные проблемы, такие как уход за престарелыми людьми, снижение человеческих потерь в военных конфликтах и на транспорте. Также большое распространение робототехника получила в медицине. Существуют разные категории роботов, используемые в медицине: роботы-ассистенты, различные хирургические системы, роботизированные протезы, но самыми распространенными являются роботы-манекены, имитирующие человека. Такие роботы, как правило, отличаются особенностями конструкций и функциональными характеристиками. Тем самым, создание антропоморфных моделей роботов является актуальной и важной задачей.

Так как магистерская программа направлена на создание жестомимического интерфейса, то была поставлена задача создания антропоморфной модели руки для исполнения дактильных жестов. Исследования и разработки работы могут быть применены в инновационных системах коммуникативного взаимодействия в человекомашинной среде с использованием жестов, таких, как: системы сурдоперевода, системы обучения антропоморфных роботов, жестомимический интерфейс в компьютерных играх, жестомимический интерфейс для реализации систем управления, Web-сервис с возможностью документирования разговора и речи глухих. [2]

Разработка робототехнической модели левой руки антропоморфного аватара

    Для создания робототехнической модели руки был выбран прототип для доработки: проект «InMoov». InMoov является роботом-гуманоидом с открытым исходным кодом, построенный из 3D печатных пластиковых компонентов тела, и контролируется микроконтроллером Arduino. Проект очень популярен по всему миру и дорабатывается с большим темпом.

1. Печать деталей

Печать деталей производилась на 3d принтере Picaso 3D Designer. Picaso 3D Designer – персональный 3D принтер нового поколения, созданный компанией PICASO 3D, первым производителем устройств для 3D печати в России. Для сокращения количества деталей и экономии пластика, несколько деталей необходимо было объединять в единые модели. Например, количество деталей для кисти сократилось с 54 до 40. В качестве материала использовался АBS-пластик. Модели из ABS сохраняют прочность при нагреве до 90 °С. Данный вид пластика применяется при создании концептуальных и презентационные моделей.

2. Подготовка деталей к сборке

Перед началом сборки необходимо было очистить детали наждаком, ножом и кусачками. Острые края, отверстия для вставки других деталей стачивались наждаком; издержки печати, лишний пластик удалялся кусачками и тоже приводился к гладкому виду. Необходимые дырки для протягивания лески и соединения различных деталей высверливались самостоятельно. Для этого использовались сверла диаметрами 2мм и 3мм, в зависимости от размеров самой детали. Также во всех деталях ладони были проделаны условные верхние и нижнее отверстия для лески.

3. Сборка и протягивание лески

Сборка макета началась со сборки пальцев руки. Происходила сборка уже зачищенных и подготовленных деталей. Там, где было необходимо, детали подвергались дополнительной обработке: дополнительно зачищались, смазывались места стыковки подвижных частей, и т. п. Перед присоединением пальцев к самой ладони, необходимо провести леску. Рекомендуемый диаметр лески не должен быть меньше 0.17мм. Протягивание лески начинается с кончиков пальцев. Леска проходит через палец по его верхним отверстиям, далее через верхнюю часть ладони до запястья, там через специальные отверстия и до предплечья, где будут находится сервоприводы. Далее леска меняет вектор движения, её необходимо провести в обратную сторону через нижние отверстия до кончика пальца, где их закрепляют. Данный шаги повторяются для всех пальцев. После того, как леска проведена, начинается крепление отдельных частей модели. Крепление в основном проводится с помощью клея для пластика и специальных заклёпок или болтов. Также после крепления и сборки полной модели необходимо очистить остатки клея и прочие неровности.

Рис. 1. Процесс сборки робототехнической модели

4. Тестирование физических свойств руки

Происходила проверка устойчивости лески. Поочередно, для каждого пальца, натягивалась леска, фиксировались пальцы в важных для дальнейшей работы положениях (палец согнутый, палец полностью прямой, палец наполовину согнут). Там, где было необходимо, для уменьшения трения лески, пластик подвергался дополнительной обработке: расширялись отверстия или места, где проходила леска.

5. Подготовка аппаратной части

Для проекта потребовались: контроллер Arduino Uno R3, макетная плата, провода-джамперы (папа-папа), провода-джамперы (папа-мама), сервоприводы FT5519M(5 штук), 16-канальный 12-битный ШИМ Серво контроллер PCA9685, батарейный отсек(5 AA), аккумуляторы NiMH AA(5шт).

Сначала было осуществлено ознакомление с драйвером сервоприводов PCA9685. Далее с помощью Arduino и PCA9685 каждый сервопривод подключался к драйверу и «вручную» калибровался: путем экспериментов подбирался корректный диапазон длин импульсов для крайних положений вала. После этого была собрана схема с одновременным подключением нескольких сервоприводов и протестирована ее работоспособность.

6. Сборка аппаратной части

На каждый сервопривод крепились пластиковые качельки, в крайние положения качелек вкручивались по одному винту. На винты крепилась и фиксировалась леска так, чтобы при вращении сервопривода в одну сторону (по часовой стрелке), леска натягивалась в одну сторону, при вращении в другую сторону (против часовой стрелки), леска натягивалась соответственно – в другую. Далее сервоприводы крепились в заранее обозначенных местах, в предплечье руки, при этом леска натягивалась таким образом, чтобы крайние положения вала сервопривода соответствовали крайним положениям пальца (согнут или прямой). Далее сервоприводы подключались по той же схеме, как и в предыдущем пункте. Сервоприводы подключались к драйверу PCA9685, драйвер в свою очередь подключался к контроллеру Arduino с помощью четырех проводов-джамперов. Также на драйвер подавалось дополнительное питание с батарейного отсека с 5 аккумуляторами NiMH типа AA.

Рис. 2. Схема подключений

7. Реализация программной части

Была разработана программа (скетч) в среде Arduino IDE для управления положениями пяти сервоприводов (пять пальцев руки). Программа состоит из двух основных функций: setup() и loop(). В функции setup() задается скорость передачи данных по последовательному порту в бит/с (в нашем случае 9600 бит/с) и частота PWM сигнала для управления драйвером сервоприводов. Функция loop() выполняется непрерывно(циклично). Данная функция получает команды от пользователя, поступающие с последовательного порта, и, в зависимости от полученной команды, выполняет определенный жест. Для этого по каждому каналу передается ШИМ сигнал для изменения положения вала сервопривода и задается время исполнения. Номер канала драйвера обозначает номер подключенного сервопривода. [3]

В демонстрационной версии программы представлено несколько дактильных жестов.

Язык программирования устройств Ардуино является стандартным C++ (используется компилятор AVR-GCC) со следующими особенностями:

• Программы сохраняются в файлах с расширением ino. Эти файлы перед компиляцией обрабатываются препроцессором Ардуино. Также существует возможность создавать и подключать к проекту стандартные файлы C++.
  
• Обязательную в C++ функцию main() препроцессор Ардуино создает сам, вставляя туда необходимые «черновые» действия.
  
• Программист должен написать две обязательные для Ардуино функции setup() и loop(). Первая вызывается однократно при старте, вторая выполняется в цикле.
  
• В текст программы (скетча) программист не обязан вставлять заголовочные файлы используемых стандартных библиотек. Эти заголовочные файлы добавит препроцессор Ардуино в соответствии с конфигурацией проекта. Однако пользовательские библиотеки нужно указывать.
  
• Менеджер проекта Arduino IDE имеет нестандартный механизм добавления библиотек. Библиотеки в виде исходных текстов на стандартном C++ добавляются в специальную папку в рабочем каталоге IDE. При этом название библиотеки добавляется в список библиотек в меню IDE. Программист отмечает нужные библиотеки и они вносятся в список компиляции.
  
• Arduino IDE не предлагает никаких настроек компилятора и минимизирует другие настройки, что упрощает начало работы для новичков и уменьшает риск возникновения проблем.
  

Заключение

Задача создания систем человеко-компьютерного взаимодействия имеет огромную популярность на сегодняшний день. В результате выполнения проекта по магистерской программе был создан действующий макет роботизированной руки. Данный макет позволил сформировать основное направление дальнейших разработок, состоящее в создании комплекса программного обеспечения поддержки жестового коммуникативного взаимодействия, а также требования к программам управления мелкой моторикой роботизированной руки в процессе исполнения дактильных жестов.

Рис. 3. Действующий макет роботизированной руки

Развитие технологий позволило уместить на одной небольшой плате несколько системных устройств, устройство получило название микроконтроллер. Одним из таких монокристаллических микрокомпьютеров является Arduino, которое состоит из микроконтроллера, установленного на печатной плате и минимально необходимых компонентов для работы. Для создания нового электронного устройства понадобится плата Arduino, кабель связи и компьютер. Для программного обеспечения в виде управляющей программы базовые знания варианта языка С/С++ для микроконтроллеров, поскольку добавлены компоненты, разрешающие писать программы без знания аппаратной части [1 Стр.18-19].

Обмен данными через bluetooth

Фактически модуль Bluetooth — это модем, поскольку он преобразует сигнал из одной среды в другую. Передаваемый электроимпульсами по проводникам последовательный TTL-сигнал преобразуется в радиосигнал в Bluetooth приёмопередающем устройстве и наоборот, из радиосигнала преобразует в электроимпульсный сигнал. Функция модема — устанавливать соединение с другими модемами для обмена информацией и разъединения канала связи. Для выполнения функций соединения в модемы заложено два рабочих режима:

командный – обмен информацией при данном режиме происходит с самим модемом;

режим данных – обмен информацией происходит через сам модем.

Модемы Bluetooth по своему принципу работы аналогичны любым другим типам модемов и в них заложен набор команд протокола Hayes АТ, аналогичный для телефонных модемов. Команды данного протокола прописываются в символах ASCII. Модемы на протоколе Hayes АТ работают в режиме данных и командном, переключение режимов осуществляется строкой +++ [2].

Микроконтроллеры и управление приложением

Микроконтроллер — микросхема с несколькими контактами «вход» и «выход». Управление через микросхему осуществляется по простейшему принципу и имеет три основных этапа:

1) к входам подключаются различные датчики, фиксирующие движение, звук, уровень освещения и т. д.

2) к выходам подключаются устройства управления, такие как системы освещения, динамики, электроприводы и т. д.

3) пишется программа управления микроконтроллером и приложением.

Управляющая программа:

#include <SPI.h>

#include <SD.h>

const
int chipSelect = 4;

void
setup()

{

/* Open serial communications and wait for port to open: */

Serial.begin(9600);

while (!Serial) {} /* wait for serial port to connect. Needed for Leonardo only */

Serial.print(“Initializing SD card…”);

/* see if the card is present and can be initialized: */

if (!SD.begin(chipSelect)) {

Serial.println(“Card failed, or not present”);

// don’t do anything more:

return;

}

Serial.println(“card initialized.”);

}

void
loop()

{

// make a string for assembling the data to log:

String dataString = “”;

// read three sensors and append to the string:

for (int analogPin = 0; analogPin < 3; analogPin++) {

int sensor = analogRead(analogPin);

dataString += String(sensor);

if (analogPin < 2) {

dataString += “,”;

}

}

Arduino

Arduino — открытая платформа, состоящая из платы микроконтроллера и программного обеспечения (ПО) – IDE (Integrated Development Environment). ПО для платы пишется в приложениях на компьютере и через канал соединения с платой загружается на устройство.

Основа программы под Arduino состоит из двух команд: setup() и loop(). Перед командой setup() пишутся переменные, задействуются библиотеки. Команда setup() выполняется только один раз после каждого подключения или сброса платы под управлением Arduino. Данная команда запускает переменные и работу портов входа и выхода платы. Данная команда обязательна для управляющей программы. Команда loop() предназначена для циклического выполнения команд, которые прописываются в её теле. Пример реализации данных команд в программе:

setup()

{

Serial.begin(9600);

}

loop ()

{

Serial.println(millis());

delay(1000);

}

[1стр.47].

Набор кодов, сгруппированный в блок и имеющий имя, прописанное на данном коде, называется функцией. Выполнение набора кодов осуществляется при вызове функции. Для снижения ошибок в программе и выполнения повторяющихся команд прописываются различные функции. При написании функции в начале обозначается её предназначение. К примеру, значение, которое возвращается функцией – целое число (int). У функций, которые не возвращают значение, имеют тип – пусто (void). За функцией пишется её имя и в скобках параметры передаваемые функцией. К примеру:

type functionName (parameters)

{

statements;

}

К цельному типу относится функция задержки или паузы delay(Val).

Скобки {} ставятся в начале и в конце функций. К примеру:

type function()

{

statements;

}

Количество открывающих скобок должно быть равным количеству закрывающих, иначе будут критические ошибки в программе. В Arduino есть удобная функция проверки парности скобок. Осуществляется проверка двумя способами: при выделении любой одной скобки парная скобка высвечивается, выделение точки за скобкой также подсвечивает пару скобок [3].

Обмен данными микроконтроллера с компьютером происходит через проводной интерфейс или по радиосигналу, обмен информацией осуществляется через библиотеку. В Arduino установлены стандартные библиотеки, но иногда их функции не рассчитаны на работу управляемым через микроконтроллер оборудованием. При необходимости устанавливаются дополнительные библиотеки. В папке “Libraries” установлены стандартные библиотеки, дополнительные библиотеки устанавливаются в папку libraries.

Arduino и iOS-приложение

Для того чтобы интегрировать Arduino с Apple (iPad или iPhone) понадобится приложение Arduino Code и среда разработки Blynk[4]. Arduino Code устанавливается на iPad или iPhone через данное приложение осуществляется интеграция устройств iOS и Arduino. Для написания управляющей программы платы Arduino будет использоваться Blynk. Помимо облачной среды для работы, у Blynk есть возможностью загрузки приложений на компьютер. Поскольку в Blynk для разработки имеются версии для iOS помимо Android, данное приложение было выбрано для интеграции с Apple. Немаловажно, что Blynk может связываться с устройствами по Bluetooth.

На первом этапе соединяем программируемую плату со смартфоном, через поддерживаемые интерфейсы: SeeedStudio Ethernet Shield V2.0 (W5200), Official Ethernet Shield (W5100), RN-XV WiFly, ESP8266, Official Arduino WiFi Shield, ESP8266 (WiFi modem), Adafruit CC3000 WiFi, ENC28J60 и USB (Serial). Интеграция Arduino с компьютерами Macintosh (Apple) осуществляется через меню Tools. Далее в меню выбирается строка Serial Port, далее подключение осуществляется через порт, у которого название начинается с /dev/cu.usbserial. На втором этапе в приложении добавляем виджеты (программы), настройку адресов выводов и при необходимости прописываем код. Для разработки виджета применяется drag’n'drop. В Blynk создаются программы к платам Arduino: Due, Mini, Uno и для других плат Arduino. Программа Arduino Code устанавливается на компьютер и для написания команд понадобится автодополнение (code complete). Приложение можно скачать из App Store’а. При загрузке программы на плату Arduino необходимо отключить Bluetooth модуль, поскольку связь с микроконтроллером осуществляется через один и тот же порт. В качестве источника питания для микроконтроллера будет использоваться блок питания на 9 Вольт. Также в приложении Arduino Manager есть возможность установить готовый widget. Для управления устройством замка подойдёт widget Rotary Switch. Этот widget по своей сути поворотный переключатель (как и следует из названия). Имеет два положения off/on. Простой и удобный widget для управления устройством, у которого только два режима закрыто/открыто.

Создаём электронный замок из серии “умный дом”

Для соединения платы Arduino будет использоваться плата Bluetooth HM-10. Данный модуль работает в режимах Master и Slave. Совместим с более старыми версиями под Arduino, такими как: HC-05;-06;-07. Для того чтобы устройства Apple могли обнаруживать Bluetooth сигнал от платы необходимо установить программу — LightBlue.

К плате под управлением Arduino подключаем привод, который будет управлять ригелем замка или электромагнитную задвижку, которая и будет выполнять функцию запирания двери. В данном случае программа управления будет негромоздкой и выглядеть следующим образом:

#include <Servo.h>

Servo myservo;

int pos = 0;

void
setup() {

myservo.attach(10); /* Назначаем 10 пин на управление приводом */

}

void
loop() {

for(pos = 0; pos < 90; pos += 1)/* движение от 0° до 90° */

{

myservo.write(pos);

delay(25); /* Указываем время с задержкой (25 мс) для перехода в другое положение */

}

for(pos = 90; pos > 0; pos -= 1) /* Движение от 90° до 0° */

{

myservo.write(pos);

delay(25); /* задержка 25мс для достижения обратного положения */

}

}

Связь будет осуществляться через приложение Arduino Manager, которое напрямую управляет контроллером через операционную систему iOS. При необходимости меняем настройку скорости подключения платы Bluetooth HM-10.

// Connect HM10

// Pin 7/TXD

// Pin 8/RXD

#if defined(ARDUINO_AVR_UNO)

#include <SoftwareSerial.h>

SoftwareSerial mySerial(7, 8); // TX, RX

#endif

#if defined(ARDUINO_AVR_MEGA2560)

#define mySerial Serial3

#endif

#define DEVICE_SPEED 9600

#define CONSOLE_SPEED 9600

void
setup() {

Serial.begin(CONSOLE_SPEED);

pinMode(7, OUTPUT);

pinMode(8, INPUT);

mySerial.begin(DEVICE_SPEED);

Serial.println(“Ready”);

}

void
loop() {

char c;

if (Serial.available()) {

c = Serial.read();

mySerial.print(c);

}

if (mySerial.available()) {

c = mySerial.read();

Serial.print(c);

}

}

Выводы

Для создания подобного запорного механизма, несомненно, понадобится плата Arduino, сервоприводы и написание управляющей программы и других компонентов в зависимости от поставленной задачи. Управление устройством будет осуществляться на iPad или iPhone по Bluetooth через приложение Arduino Manager. Данное приложение загружается с App Store и предназначено для управления множеством устройств. Имеет лёгкую настройку управления и датчик обратной связи. Генератор кода позволяет создавать коммуникационную инфраструктуру связи между платой Arduino и устройством iOS и генерировать код для каждого выбранного устройства. Также есть возможность воспользоваться готовым widget-ом, для управления устройством.

Arduino даёт возможность экспериментировать и применять данный микроконтроллер для различных устройств. Приложение Arduino Manager управлять этими устройствами с iPad или iPhone.