Глава 17. Путеводитель по человеко-компьютерному взаимодействию: тактильная интеракция

В этом посте будут рассмотрены различные способы, которыми тактильное взаимодействие (Tactile Interaction) может использоваться для улучшения человеко-машинного интерфейса в области проектирования интерактивных продуктов.

Освещение темы начнется с общего рассмотрения разработок, предназначенных для осуществления тактильных интеракций, затем последует обзор ключевых физических, перцептивных и технологических вопросов, которые способны повлиять на то, как мы можем задействовать вышеупомянутый потенциально богатый источник человеко-компьютерного взаимодействия (Human-Computer Interaction, HCI).

1. Вступление

Попытаемся определить, чем обоснован интерес к изучению тактильного взаимодействия в проектировании пользовательского опыта. В конце концов, разве это не визуальное направление деятельности, что наиболее заметно и справедливо в отношении любого конкретного интерфейса? Что касается отображения данных и обратной связи, чаще всего дело обстоит именно так: в роли пользователей мы рассчитываем сначала увидеть доступные нам элементы управления и опции интерактивной системы, прежде чем начнем с ними взаимодействовать. Мы, вероятно, также ожидаем, что сможем видеть результаты любых действий, предпринятых нами. Проектирование интерфейсов уже давно восприняло идею предложения дополнительных методов подкрепления там, где это возможно, с особым упором на слуховую обратную связь. Таким образом, каждое конкретное действие обычно подкреплено сочетанием визуального и аудиального фидбеков.

Более того: на постоянно расширяющемся рынке музыкального и звукового программного обеспечения обратная связь в любом случае может быть в основном слуховой и выражаться аудио-сигналами. Эта, несомненно, мощная комбинация обеспечивает богатые формы отображения информации, но взаимодействие, которое переводит нас от одного этапа деятельности к другому, обычно обеспечивается прикосновением.

Способ, которым мы выбираем различные физические и виртуальные объекты, а затем манипулируем ими, будет состоять из комбинации движения и касания, или гаптического взаимодействия (Haptic Interaction). Вероятно, с этого момента и начинаются интересные вещи: уже накоплен значительный объем результатов исследований по дизайну интерфейсов с точки зрения визуальной и слуховой обратной связи, но проектировщикам все еще очень мало известно о специфике проектирования интерактивных систем, предназначенных для тактильного взаимодействия. И первый ответ на наш вступительный вопрос может заключаться в том, что интеракция через прикосновение, вероятно, недооценивается с точки зрения потенциального источника обратной связи, предлагаемого ею. Возможно, что основное внимание разработчиков было чрезмерно прочно зафиксировано на «выполнении [задачи]», а не на «получении [обратной связи]». Таким образом, в мире, где визуальные дисплеи уже и без того загромождены данными, «выгрузка» некоторой части этой информации на слуховой канал способна принести реальную пользу, но также может оказаться, что некоторые из этих обратных связей являются более значимыми для нашего осязания. Например, действие выбора и позиционирования виртуального экранного регулятора громкости куда проще осуществить при помощи чувства осязания, чем слуха. 

Рисунок 1: пример реального дизайна взаимодействия для «выполнения [задачи]» — экспериментальная интерактивная система «Reactable». Обратите внимание, что информационные сигналы, которые уведомляют пользователя о том, что именно выполняет каждый блок, являются визуальными, но пользователи осуществляют действия, руководствуясь тактильными ощущениями.

Рисунок 2 A-Б: примеры тактильного дизайна для «получения [обратной связи]». Эти отличающиеся текстуры по-разному ощущаются под ногами, и это изменение ощущений информирует слабовидящих (или увлеченных чтением) пешеходов, что нужно остановиться или уделить повышенное внимание окружающей обстановке.

Этот аргумент сам по себе довольно убедителен, но давайте теперь рассмотрим многочисленные ситуации и рабочие среды, в которых визуальное отображение информации либо непрактично, либо попросту невозможно. Вероятно, самым очевидным примером может быть проектирование невизуальных интерфейсов для слабовидящих пользователей. Относительно подобных разработок существует множество вопросов, и некоторые из них будут рассмотрены позже в этом посте. Тем не менее, ключевым моментом является то, что графический пользовательский интерфейс (Graphical User Interface — GUI) должен быть преобразован так, чтобы эффективно передавать информацию с применением невизуальных средств.

Есть несколько путей решения этой проблемы: например, «экранные дикторы» (программы для чтения с экрана) могут использовать синтезированную речь для проговаривания текста или для озвучивания описания конструктивной схемы, но не окажется ли самым быстрым и информативным способом обеспечить обратную связь посредством отображения структурных компонентов таким образом, чтобы пользователь мог «ощущать» элементы системы управления? Тем более, что у некоторых пользователей имеются настолько исключительные потребности, что существенное отклонение от визуально доминирующего интерфейса может принести пользу.

Вместе с тем, существует множество случаев, когда одно решение оказывается идеальным для всех пользователей, у которых нет дополнительных индивидуальных потребностей. При управлении транспортным средством, например, или при эксплуатации специализированного оборудования с точки зрения безопасности наилучшим выходом будет поддержка почти постоянного визуального контакта с окружающей средой. Действительно, в настоящее время элементы управления развлекательных автомобильных систем чаще всего располагаются на рулевой колонке, где обеспечивается их легкая досягаемость без необходимости отводить взгляд от дороги. В некоторых ситуациях непосредственное окружение интерактивной системы может не обеспечивать достаточного освещения, чтобы пользователь мог легко увидеть, что происходит. В экстремальном воплощении подобных сценариев полагается, что окружающая среда в настоящее время находится в условиях аварийного освещения, а в менее критическом для безопасности варианте интеракции, например, рассматривается случай, когда в гостиной слишком темно, чтобы можно было легко управлять домашним кинотеатром при помощи пульта дистанционного управления.

Следовательно, существует широкий круг причин, по которым проектировщикам интерактивных взаимодействий и пользовательского опыта было бы желательно изучить невизуальные способы коммуникации. Однако наш интерес в контексте этой статьи связан с тактильным взаимодействием, и несколько позже мы рассмотрим различные технологии (существующие и возникающие), которые можно использовать для того, чтобы осуществить подобный тип интеракции. Однако, как и во всех других формах обратной связи, существуют физические и перцептивные ограничения, которые будут влиять на эффективность любого нового дизайна интерфейса/проекта пользовательского опыта.

2. Психология прикосновения

Прежде чем решить, каким образом тактильное взаимодействие может быть успешно интегрировано в человеко-машинный интерфейс, важно понять, как человеческое тело извлекает и обрабатывает информацию о своем непосредственном окружении. Это происходит на двух уровнях: физическом и перцептивном (или перцепционном — «относящемся к восприятию»). На физическом уровне наши периферические нервные системы собирают информацию, используя различные типы нервов, каждый из которых чувствителен к определенному виду стимулов. Вся информация, собранная периферической нервной системой, передается через центральную нервную систему в ее главный «координационный центр»: головной мозг. Именно здесь информация истолковывается, и по итогам этой интерпретации принимаются меры. Именно этот процесс толкования представляет собой уровень восприятия.

В 1986 году североамериканские исследователи Джек Лумис (Jack Loomis) и Сюзанна Ледерман (Susan Lederman), чьи научные интересы находятся на стыке психологии и нейрофизиологии, опубликовали работу «Справочник по восприятию и деятельности человека» (Handbook of perception and human performances), где представили полезный обзор трех аспектов интерпретации информации через прикосновение, что в совокупности можно назвать осязательным восприятием (Tactual Perception). Авторы заявляли, что существуют два основополагающих и самостоятельных ощущения, которые вместе дают нам чувство осязания: кожная и кинестетическая чувствительность. Кожная чувствительность предоставляет нам информацию о стимулировании рецепторов, находящихся непосредственно в коже, тогда как кинестетическая чувствительность смысл обеспечивает осознание относительного позиционирования тела (головы, туловища, конечностей и т. д.). Восприятие, связанное с одной или более из этих чувствительностей, можно рассматривать как осязательное восприятие.

Соответственно, выделяют три формы такой перцепции:

• Тактильное восприятие (Tactile perception) зависит исключительно от изменений в кожной стимуляции такими действиями, как отслеживание контактов с кожным покровом индивида. Собственно, тактильное восприятие означает, что индивидуум, о котором идет речь, должен быть неподвижным; в противном случае будет задействована кинестетическая чувствительность.
• Кинестетическое восприятие (Kinesthetic perception) связано с вариациями кинестетического стимулирования. Тем не менее, осязательное восприятие без участия кожной чувствительности на практике может быть достигнуто только при искусственно созданных обстоятельствах, таких как использование анестетика для подавления ощущений, получаемых через кожу.
• Гаптическое восприятие (Haptic perception) — это форма осязательного восприятия, которая включает в себя как тактильное, так и кинестетическое восприятие. Именно его мы ежедневно используем, чтобы исследовать и понимать наше окружение при помощи прикосновений.

Уровень контроля, которым человек обладает в каждый конкретный момент сбора информации посредством кожной или кинестетической чувствительности приводит к определению следующих пяти видов осязательного восприятия, где у первых трех контроль отсутствует. Действительно, из этих определений видно, что из пяти видов только последний, активное гаптическое восприятие, вероятно, будет иметь реальное значение для разработки интерфейсов, использующих тактильное взаимодействие.

1. Тактильное восприятие — только информация, получаемая через рецепторы кожи.

2. Пассивное кинестетическое восприятие — афферентная кинестезия.

3. Пассивное тактильное восприятие — информация, получаемая через рецепторы кожи, и афферентная кинестезия.

4. Активное кинестетическое восприятие — афферентная кинестезия и эфферентное реагирование.

5. Активное гаптическое восприятие — информация, получаемая через рецепторы кожи, афферентная кинестезия и эфферентное реагирование.

Примечание: афферентные системы перерабатывают информацию, поступающую в мозг от рецепторов, а эфферентные системы — информацию, идущую от мозга к эффекторам (мышцам, железам). Кинестезия (от греч. kinesis – движение + aisthesis – ощущение) – чувство (восприятие) движения и положения собственного тела или его отдельных частей.

Рисунок 3 A-Б: для создания вибрационно-тактильной обратной связи, такой как осуществляется посредством этих перчаток-прототипов, используется чувствительность кожного покрова человека.

Рисунок 4: кинестетическая чувствительность обеспечивает осознание относительного расположения тела.

3. Практические аспекты тактильного взаимодействия

В конечном счете, проектирование любого человеко-машинного интерфейса, позволяющего тактильное взаимодействие, должно подчиняться многим из тех же соображений относительно конструкции системы, которые должны быть сделаны при проектировании, например, тактильных диаграмм — благо, что в этой области накоплен значительный объем результатов исследований, к которому мы можем обратиться. Прежде чем углубленно рассмотреть некоторые из этих воспринимаемых характеристик, обратим внимание на связь между прикосновением и взглядом.

3.1. Зрение против осязания

Наша всеобщая зависимость от зрения предполагает, что если возникнет конфликт между этим чувством и осязанием, то визуальный аспект восприятия станет доминирующим. Подобный конфликт различных каналов сенсорной информации стал основой для исследований Ирвина Рока (Irvin Rock) и Джека Виктора (Jack Victor), проведенного в 1964 году. Они использовали оптическую иллюзию: показывая боковую поверхность цилиндра, исследователи смогли вызвать у группы участников эксперимента визуальное впечатление, что видимый ими на экране сплошной квадратный объект является гранью прямоугольного параллелепипеда. Для участников эксперимента осязательное впечатление не изменилось. Субъекты, ознакомленные с сутью таких конфликтов относительно размера и формы тела, в целом высказывали суждения, аналогичные тем, к которым приходили участники контрольной группы, располагавшие только визуальной информацией.

Однако Пол Макдоннелл (Paul McDonnell) и Джеймс Даффетт (James Duffett) в 1972 году предположили, что эксперимент Рока и Виктора мог иметь методологические недостатки, способные привести к предубеждению в пользу зрения. При пересмотре первоначального эксперимента участникам было предложено взглянуть деревянные блоки, расположенные на верхней поверхности стола. Чтобы исследовать нижние части блоков, испытуемые должны были наощупь изучить их под столом. У испытуемых было вызвано впечатление, что блоки прошли насквозь сквозь стол, тогда как на самом деле они состояли из двух частей и лишь производили упомянутое впечатление. По сути, каждый блок, который изучали испытуемые, представлял собой пару блоков, ширина выступа которых на одной стороне стола была одинаковой, но суммарные длины составных конструкций различаться. Использовалось пять пар блоков с коэффициентами расхождения 1:1, 1,29:1, 1,67:1, 2,2:1 и 3:1. Изучив каждый блок, испытуемые должны были выбрать наилучшее соответствие из сравниваемой группы так, чтобы у объектов не было расхождения по длине. Средние оценки для группы участников показали, что испытуемые выбрали такой сравниваемый блок, который представлял собой компромисс между их визуальными и осязательными впечатлениями. Однако более пристальное изучение выявило, что участники делали свой выбор в соответствии либо с визуальным, либо с осязательным впечатлением, и что в характере ответов отмечается большой разброс, так что визуальное доминирование не может считаться существенным.

Психолог Мортон Хеллер (Morton Heller) в своей работе «Гаптическое доминирование в восприятии формы: видение против кинестезии» (Haptic dominance in form perception: vision versus proprioception) также показал, что оригинальные выводы Рока и Виктора не должны были применяться так всеобъемлюще, чтобы утверждать, что зрение всегда будет доминирующим, когда возникает конфликт между ним и осязанием. В эксперименте Хеллера испытуемым требовалось исследовать при помощи осязания рельефные буквы p, q, b, d, w и m, глядя на них в зеркало. Участник мог бы, например, на ощупь распознавать букву w, видя букву m. Когда испытуемых попросили определить буквы, то наблюдался широкий диапазон ответов, в которых большинство полагалось на осязание, а некоторые — на компромисс между двумя чувствами и только один опирался на зрение.

Поэтому представляется, что противопоставление визуального и осязательного доминирования не следует рассматривать как дихотомию, поскольку есть свидетельства существования компромисса между двумя чувствами, когда они находятся в конфликте. Кроме того, эта степень компромисса, скорее всего, будет весьма индивидуальной, и на нее также повлияет уклон в сторону соответствия одного или обоих чувств характеру выполняемой задачи.

3.2. Отображение визуального через тактильное (картирование)

Роберта Клацки (Roberta Klatzky) и Сюзанна Ледерман в работе 1987 года «Представление объектов в памяти: противоборствующие перспективы зрения и осязания» (The Representation of Objects in Memory: Contrasting Perspectives from Vision and Touch) утверждают, что использование многих тактильных диаграмм/схем/рисунков, вероятно, будет сопровождаться проблемами из-за ограничения характера пространственного разрешения, применяемого, например, для технических чертежей, линии которых хорошо видны, но, возможно, не будут ощущаться осязанием, потому что масштаб изображения просто становится слишком мал для пропускной способности прикосновения. Клацки и Ледерман также предполагают, что в проектировании тактильных графических дисплеев часто используется принципиально ошибочная модель гаптической обработки. В упоминаемой модели посредничества с изображением «рука действует как глаз, который остро нуждается в очках» («Представление объектов в памяти»). Подход, используемый в этой модели, заключается в том, что создается пространственный образ, соответствующий тому, который может быть получен с использованием зрения. Однако на этот образ влияют такие факторы, как низкое разрешение тактильных датчиков и наряду с этим — требования, предъявляемые к памяти с учетом характера изучения «изображения» в течение длительного времени. Затем это изображение передается интерпретаторам визуальной системы, результатом чего является получение ментального образа, которое, вероятно, будет выглядеть так, будто первоначальная диаграмма рассматривалась человеком с очень плохим зрением.

В отличие от этой модели в концепции Клацки и Ледерман предполагается, что у тактильной системы есть собственная система восприятия и интерпретирующие центры. Гаптический и зрительный — это просто разные способы восприятия, хотя на гораздо более высоком когнитивном уровне может наблюдаться некоторое сближение тактильной системы с визуальной. Возможно, самым важным предложением Клацки и Ледерман является то, что тактильная система не является эффективным медиатором (средством передачи) изображений. В качестве примера описывается следующее: предположим, человека попросят представить, что он видит перед собой кошку. Он, вероятнее, будет визуализировать очертания тела кошки и, возможно, цвет и узор кошачьего меха. Однако, если того же самого человека попросят подумать о прикосновении к кошке, это приведет к представлению совсем другого образа: мягкости кошачьей шерсти и, возможно, тепла тела животного.

В ходе исследований, посвященных изучению трехмерных объектов, Клацки и Ледерман зафиксировали серию методов распознавания объектов. Особый интерес представляет то, что физические характеристики объекта (например, твердость и текстура) могут быть извлечены быстро и надежно, тогда как структурная информация извлекается медленно, причем процесс сопровождается большим количеством ошибок. В одном реальном исследовании Клацки и Ледерман участвовали испытуемые, которым было предложено рассортировать предметы по четырем различным характеристикам: твердость, шероховатость поверхности, размер и форма. Для каждого свойства были обозначены три варианта определения, причем все их возможные комбинации полностью находились в пределах группы. Участников эксперимента просто попросили поместить объекты, которые были похожи между собой, в общий ящик. Изучая объекты внутри каждого контейнера, можно было бы определить характеристику, которая оказалась наиболее существенной. Например, если бы все объекты с шершавой поверхностью оказались в одной емкости, со средней шершавостью — в другой, а гладкие предметы — в третьей, то поверхностная текстура оказалась бы наиболее существенной характеристикой.

Полученные результаты варьировались в зависимости от условий исследования, которые разрешено было менять таким образом, чтобы при невозможности увидеть предметы участники предпочли сортировать предметы по физическим параметрам — как по твердости, так и по текстуре. Эта картина не изменилась, когда сходство определялось по тому, как как предметы «ощущались», но произошел значительный сдвиг в сторону зависимости от структурных характеристик, когда подобие было определено с точки зрения «визуальной» похожести объектов. Наконец, когда испытуемым разрешалось видеть объекты, структурные аспекты схожести опять были самыми явными. Хотя эти исследования проводились с использованием трехмерных объектов, их результаты могут быть столь же актуальны для проектирования тактильных схем/диаграмм, хотя в последнем случае в качестве характеристик применимы только контур и текстура. В частности, если дисплей должен быть частично визуальным, но также при этом поддерживать некоторые тактильные элементы интеракции, выводы Клацки и Ледерман помогут установить, как лучше всего распределить информацию между зрительным и осязательным каналами.

3.3. Линии

Возможно, самым простым тактильным объектом является тот, что можно представить в виде простейшего пространственного объекта — линии. Прямые и кривые линии можно рассматривать как «строительные блоки» большинства графических изображений. При построении графиков, карт, диаграмм и др. основной упор делается на использование линий. Существуют две проблемы, которые быстро становятся очевидными при использовании рельефных линий в качестве тактильных заменителей визуальных объектов:

1. Насколько просто отслеживать линии?

2. Насколько легко отличать линии различной ширины друг от друга?

Что касается отслеживаемости линий, то сравнительное исследование на эту тему еще в конце 70-х годов прошлого было проведено американскими учеными — психологом Билли Луизой Бентцен (Billie Louise Bentzen) и специалистом по обучению людей с ограниченными способностями Алеком Пеком (Alec Peck). В ходе серии экспериментов рассматривался вопрос о том, какие типы линий проще всего опознать, отслеживая их пальцем. В исследовании использовались четыре типа линий: одиночная непрерывная (условно «гладкая»), двойная непрерывная, одиночная пунктирная («грубая») и двойная пунктирная. Они были выбраны потому, что они, как кажется, признаются в качестве четырех наиболее часто используемых типов линий, но без каких-либо подтверждающих доказательств того, что предпочтение их является наилучшим решением. Помимо определения того, какие линии, как правило, легче всего отслеживать, Бентцен также интересовалась тем, как на отслеживание могут повлиять два конкретных сценария:

• Отображения с непересекающимися линиями.
• Отображения с пересекающимися линиями: «грубая» линия против «гладкой» и одиночная против двойной.

В ходе эксперимента использовались два отображения, представлявших собой рельефные пластиковые листы. На простом отображении использовались все четыре типа линий без пересечений. Они включали в себя прямой угол, тупой угол и острый угол и полукруг радиусом 1,5 дюйма (3,81 см), связанные между собой тремя прямыми линиями длиной 3 дюйма (7,62 см) и тремя длиной 1,5 дюйма (3,81 см). На сложном отображении были линии всех 4 типов, использовались те же отслеживаемые элементы, но каждая линия в какой-то момент пересекалась с другими тремя.

Полученные в ходе эксперимента выводы заключались в том, что результативность отслеживания «грубых» и «гладких» линий существенно отличается и, следовательно, не является реальной проблемой проектирования при использовании тактильных диаграмм. Одиночные линии, непрерывные или пунктирные, предпочтительнее двойных линий (расстояние от одной до другой линии составляло 0,25 дюйма или 64 мм) в случае тактильных дисплеев, на которых не имеется пересекающихся линий.

Никаких конкретных доводов в пользу применения двойных линий против одинарных не было найдено, за исключением того, что пересечение двойных обнаруживается лучше, чем одиночных. Это, однако, считалось сугубо частной особенностью для проектирования практически используемых тактильных отображений, что для данного этапа исследований не является значимым. Последнее замечание заключалось в том, что пересечение одинарной узкой линии применять нежелательно.

Совместный эксперимент Сюзанны Ледермана и канадского когнитивного психолога Джейми Кэмпбелла (Jamie Campbell) исследовал применение рельефных линий в реальных графических отображениях для слабовидящих пользователей.

Использовались четыре разных метода представления графиков.

• Без сетки — в основной области графика нет линий координатной сетки помимо делений на главных осях.
• Сетка на графике — деления, расширенные на основной области в формате сетки.
• Сетка поверх графика — сетка накладывается на отображение из первого пункта. Пользователь может продолжить наложение сетки на график.
• Сетка под графиком — противоположность третьему варианту. Здесь координатная сетка является частью основания отображения, и график можно опустить на нее.

Применялись три типа линий: сплошная, крупный пунктир и мелкий пунктир. С точки зрения отслеживания результаты были обнадеживающими, но с графиками, в которых все три типа линий присутствовали в непосредственной близости, для выполнения задач требовалось значительно больше времени, а точность снижалась. В некоторых заметках исследователей упоминается, что после представления графика участник эксперимента сначала предпочитает исследовать его общий формат — основные оси, символы и метки. Наклеивание квадратов наждачной бумаги по углам оказалось очень полезным, поскольку при проверке площади и основных осей отображения широкое движение руки позволяло испытуемому быстро ознакомиться с размерами и пропорциями графика. Наблюдались индивидуальные различия, поскольку некоторые участники использовали для изучения графика обе руки, в то время как другие предпочитали неподвижно держать одну руку на отображении, применяя ее в качестве «точки отсчета». Также выяснилось, что форматы «без сетки» и «сетка на графике» были предпочтительнее других — оба они оказались одинаково простыми в использовании.

Еще одно исследование факторов, влияющих на различимость тактильных линий, касалось восприятия одной линии как более широкой, чем другой. Суть эксперимента — пять линий стандартной толщины сравнивались с набором линий, половина которых была тоньше контрольных образцов, а остальные — толще. Использовались пять контрольных (стандартной толщины) линий: 0,1, 0,15, 0,2, 0,25 и 0,3 см в ширину.

Линия 0,1 см имела в качестве объектов для сравнения 6 постепенно сужающихся линий и 6 расширяющихся — с шагом 0,01 см, тогда как все остальные линии изменялись с шагом 0,013 см. Каждая линия была приблизительно 0,64 см в высоту. При представлении одной стандартной линии и одной переменной участник эксперимента должен был указать, какая из них шире. Результаты показали, что процент дополнительной ширины, который требовался для человека, чтобы воспринимать линию, более широкую, чем стандартная, уменьшался по мере расширения контрольного образца. Например, самая тонкая стандартная линия (0,1 см) должна быть на 20-48% шире, тогда как самая широкая линия (0,3 см) — на 11-27%. Однако эта тенденция не продолжалась безостановочно. Когда стандартные линии достигли толщины 0,64 см и 1,27 см, результативность начала уменьшаться. Это объясняется тем, что ширина линии начинает выходить за пределы ширины среднестатистической подушечки пальца, вследствие чего уже нельзя просто ощущать обе стороны (или ребра) линии. Однако, как видно из результатов, существует очень полезный набор хорошо различимых линий, которые можно безопасно использовать в том случае, когда разница в ширине линии будет играть значительную роль в восприятии тактильного отображения.

3.4. Точечные символы

Точечные символы с точки зрения проектирования тактильного интерфейса, по-видимому, наилучшим образом можно охарактеризовать как те символы, которые предназначены для исследования с минимальным использованием движений кончика пальца. Важным аспектом применения таких символов является то, насколько успешно они могут восприниматься по отношению к фону, что обычно принято называть проблемой «[различения] формы и фигуры. Один ее аспектов заключается в поисках ответа на вопрос: какие символы проще распознавать — выпуклые или вдавленные?

Выдающийся авторитет в отрасли книгопечатания для незрячих доктор Карсон Нолан (Carson Nolan) в начале 70-х экспериментальным путем проверил предположение о том, что никакого отличия между выпуклыми и вдавленными символами нет. Однако вопреки широко распространенному мнению такая разница существует. Читателям, владеющим алфавитом Брайля, было предложено на ощупь изучить тактильный символ, а затем найти его в наборе из пяти вариантов. Задача выполнялась два раза: с набором выпуклых форм и эквивалентным комплектом вырезанных знаков.

Результаты исследования Нолана показали, что в действительности выпуклые символы по результативности распознавания в значительной степени превосходят углубленные. Наряду с увеличением количества ошибок при отслеживании вдавленных символов также время их считывания увеличивалось на 38%. Это означает, что большинство тактильных символов будут считываться быстрее и точнее, если будут использоваться выпуклые знаки.

3.5. Пространственные символы

Термин «пространственный символ» используется для описания тех областей тактильной диаграммы, которые используют либо текстуру, либо осязаемый паттерн (узор) для передачи информации. Термин «тактильный паттерн», очевидно, подразумевает область, покрытую вдавленными или выпуклыми символами, которые без затруднений воспринимаются как идентифицируемые и отличающиеся от аналогичных паттернов. Однако Ледерман в статье «Восприятие текстуры посредством прикосновения» (The Perception of Texture by Touch, 1982 г.) подчеркивает, что фундаментальным аспектом восприятия тактильного паттерна является ощущение текстуры. Она использует примеры «гладкости» кожи ребенка, «шероховатости» наждачной бумаги, «мягкости» кашемира, «упругости» резины и «скользкости» льда. Именно текстура как таковая обеспечивает большую часть осязательной обратной связи, которая необходима нам для того, чтобы решить, является ли один из пространственных тактильных паттернов отличным от других. 

Рисунок 5: несколько примеров возможных пространственных тактильных символов.

Ледерман рассматривает некоторые из известных проблем с ощущением текстуры, излагая, как она изучила восприятие шероховатости, используя алюминиевые пластины с линейными канавками, вырезанными на поверхности. Результаты ее исследований показали, что основным фактором, влияющим на восприятие шероховатости, является ширина бороздок по отношению к расстоянию между ними.

Однако ее эксперименты также продемонстрировали, что следующим наиболее важным фактором является прилагаемая сила, за которым следует скорость рук. Большая приложенная сила дает результаты, свидетельствующие о более высоком коэффициенте восприятия шероховатости, чего можно также добиться постепенно снижая скорость движения рук. Эти выводы имеют большое практическое значение в том плане, что они могут сыграть важную роль в разработке соответствующих тактильных узоров для использования их в качестве пространственных символов.

Джек Лумис в статье 1981-го года «Восприятие тактильных паттернов» (Tactile pattern perception) описывает ряд ограничений, влияющих на восприятие осязаемых структур: пространственное разрешение, взаимодействие между стимулами, более широко разнесенными, чем предел разрешения (интерференция), временное разрешение, перцептивная интеграция и ограниченное внимание.

Пространственное разрешение (Spatial resolution)

Это понятие обычно ассоциируется с двухточечным тестированием минимального порогового значения различимости. В ходе такого теста два указателя (иглы) измерительного циркуля помещаются на кожу человека в непосредственной близости друг к другу, причем главное внимание уделяется расстоянию, на котором два разных источника тактильной стимуляции начинают восприниматься участником эксперимента как один.

Однако Лумис выделяет в пространственном разрешении три дополнительных фактора. Во-первых, существуют механические свойства кожи. Когда точечный указатель помещается на кожу, градиент деформации кожи будет значительно меньше, чем требуется для стимулирования. Во-вторых, здесь наблюдается свойство распространения механических волн: когда стимулируется точка, возникают бегущие волны, которые при восприятии их другими механорецепторами создают возникновению «эффекта размывания». (Механорецептор — чувствительное нервное окончание, воспринимающее механические смещения, возникающие в результате растяжения или сжатия ткани, что приводит к генерации нервного импульса.) Наконец, существует нейронная сеть (биологическая), из чего следует, что пространственное разрешение зависит от:

1. Плотности механорецептивных элементов в определенной области кожи.

2. Размера и чувствительности этих окончаний.

3. Числа возбудительных нейронов в области проекции головной коры, соответствующей этому участку кожи.

Взаимодействие между широко разнесенными точками стимуляции

Двухточечный тест является наглядным примером этого явления, хотя в исходном случае основное внимание уделяется оценке расстояния, на котором два стимула воспринимаются как единое целое. Наличие двух таких раздражителей, приложенным к точкам кожи, находящимся друг от друга на значительном расстоянии, — например, на одной руке и на другой, — может привести к появлению фантомного ощущения в точке, расположенной между ними. Другой пример фантомных ощущений можно наблюдать, если быстро стимулировать сначала одну точку, а сразу после — другую. Обусловленное подобной стимуляцией чувство состоит из равномерно распределенной серии ощущений, перемещающихся из одного места в другое. «Кожная маскировка» также может проявляться в том, что один стимул может быть полностью замаскирован наличием другого гораздо более сильного раздражителя.

Временное разрешение

Минимальный период, когда индивид все еще может четко воспринимать два коротких импульса как отдельные. Лумис утверждает, что в ряде экспериментов эта величина достигала значений от 2 до 40 миллисекунд.

Перцептивная интеграция (объединенное восприятие)

Способ, которым вся эта информация используется на кортикальной стадии обработки, даже если она прибывает туда без существенной потери деталей. Предполагается, что в отличие от визуального восприятия информация из стимулирующего паттерна может не распознаваться.

Ограниченное внимание

Даже если бы информация воспринималась без потерь, человек по-прежнему не мог бы полностью воспринимать тактильный паттерн по причине недостаточной концентрации внимания. Когда речь заходит о визуальном канале восприятия, то исследователями повсеместно признается, что люди обладают способностью фокусировать свое внимание на каком-то отдельном фрагменте данных, когда количество поступающей информации начинает превышать способность индивида к обработке данных. Осязательный канал не выглядит столь же эффективным для этой формы концентрации внимания.

Когда речь заходит о практическом применении тактильных паттернов в качестве части отображения, то необходимо упомянуть статью 1979 года «Текстуры в осязательных картах и графиках для людей с ослабленным зрением» (Texture in Tactual Maps and Graphics for the Visually Handicapped), в которой Ледерман и ее коллега Дениз Кинч (Denise Kinch) предоставили обзор существующих в этой области практических исследований. Общий вывод, следующий из упомянутого обзора, заключается в том, что, хотя можно обнаружить около 40 реально существующих легко распознаваемых тактильных паттернов, их количество, которое можно использовать совместно, не должно превышать 8. Очень сложно найти более восьми шаблонов, групповое использование которых не привело бы к возникновению каких-либо затруднений в идентификации символов. В качестве примера: типичным плохим выбором паттернов для обозначения отдельных функций было бы использование диагональных линий, пролегающих в противоположных направлениях. Таким образом, в примере набора из двенадцати пространственных символов, показанных ранее на рисунке 5, уже возникают двусмысленности, приводящие к замедлению распознавания паттернами, так что быстрое различение некоторых пар символов будет затруднено.

Самый значимый эффект, рассматриваемый Ледерман — это использование физической высоты символа, что позволяет предоставить пользователям метод фильтрования для тактильного дисплея. Символы могут быть отображены одной из трех высот, чтобы дать представление о значимости паттерна, что позволяет посредством широких движений рук использовать разность высот как способ фильтрации нежелательной информации 

Рисунок 6: тактильная накладка для передачи структурной информации со страницы нотной записи. Подобные накладки использовались в экспериментальной системе для обеспечения слабовидящим пользователям доступа к нотной записи. Взаимодействие с накладкой позволяет извлекать речевые и звуковые описания ритмического и мелодического контента.

Рисунок 7 A-Б: примеры других накладок из системы невизуальной нотной записи «Weasel». Здесь накладка размещается на сенсорной программируемой клавиатуре IntelliKeys, часто используемой для обучения лиц с особыми потребностями.

Рисунок 8: «таксели» (Taxels) можно рассматривать как тактильные эквиваленты пикселей. На рисунке показано, как массив таких «такселей» может использоваться для создания динамического интерфейса для мобильного телефона.

3.6. Стратегии исследования символов

Всемирно признанный авторитет в области исследований проблем социально-экономической адаптации инвалидов американский психолог Эдвард Берла (Edward Berla) в работе 1972 года «Поведенческие стратегии и проблемы в сканировании и интерпретации тактильных отображений» (Behavioral Strategies and Problems in Scanning and Interpreting Tactual Displays) определил три проблемные области в использовании тактильных диаграмм слепыми людьми: разборчивость, организация и стратегии исследования. Из этих трех проблем последняя представляет особый интерес, поскольку она связана с тем, как люди применяют различные методы изучения диаграмм. Результаты экспериментов, проведенных Берла в этой области, показали, что некоторые индивиды будут использовать стратегию одноручного сканирования, а другие применят обе руки. Те, кто использовал две руки, доказали, что они обладают гораздо лучшей ориентацией внутри диаграммы по сравнению с теми, кто применял только одну руку. Берла предположил, что это является следствием использования одной руки в качестве «контрольной точки».

Определенные исследователем стратегии перечисляются ниже:

• Горизонтально-однонаправленная — в которой рука перемещается горизонтально по странице и возвращается к началу строки до перехода вниз или вверх по странице для следующего сканирования.
• Горизонтально-двунаправленная — когда рука проходит в одном направлении по странице, опускается или поднимается до следующей строки, а затем сканирует в обратном направлении.
• Асимметричное горизонтальная — когда обе руки изначально располагаются в центре диаграммы, а затем перемещаются наружу в противоположных направлениях, после чего снова возвращаются в центр. Затем руки опускаются или поднимаются до следующей строки.
• Вертикально-однонаправленная — когда рука проходит вертикально по странице и возвращается в начало строки, прежде чем перейти вправо или влево до следующей строки.
• Вертикально-двунаправленная — в которой рука проходит вертикально по странице, перемещается влево или вправо на следующую строку, а затем сканирует вертикально по всей странице.
• Сканирование по периметру или «по циферблату» — когда рука проходит полный периметр диаграммы, а затем перемещается последовательно ближе к середине, сканируя меньшие внутренние периметры.
• Ограниченный поиск — где на диаграмму пользователем накладываются произвольных размеров воображаемые прямоугольники. Поиски будут ограничены конкретными площадями.
• Сканирование распределения плотности — когда рука используется для быстрого определения того, в каких областях диаграммы находится большинство символов. Затем в первую очередь исследуются наименее заполненные участки.
• Сканирование по направлению «спиц колеса» — где одна рука используется в качестве контрольной точки для другой, сканирующей в направлении от центра наружу, постепенно перемещаясь по диаграмме.

Берла приходит к выводу, что каждая из этих стратегий имеет свои относительные достоинства и недостатки, которые, следовательно, затрудняют рекомендацию о принятии единственной «идеальной» стратегии. Он также утверждает, что оптимальным подходом может быть обучение пользователей всем этим стратегиям работы с тактильными диаграммами, что в дальнейшем позволит применить для решения любой конкретной задачи наиболее подходящую стратегию.

3.7. Символы Брайля

Система Брайля — это методика интерпретации тактильных паттернов, широко используемая слабовидящими и незрячим людьми для того, чтобы читать и писать. Символы был разработаны в 1825 году Луи Брайлем (Louis Braille), слепым французским педагогом и изобретателем. Каждый символ Брайля — или ячейка — состоит из шести точек, расположенных в прямоугольнике, содержащем два столбца по три точки. 

Рисунок 9: символы Брайля

Хотя символы Брайля не являются неотъемлемым аспектом проектирования осязательных диаграмм, каждая ячейка фактически является тактильным символом, поэтому факторы, которые влияют на удобочитаемость и восприятие таких ячеек, могут представлять интерес для дизайнеров невизуальных человеко-машинных интерфейсов. В одном конкретном исследовании, посвященном восприятию тактильных паттернов, изучалось, воспринимаются ли брайлевские символы как группы отдельных точек или как контурные фигуры. В серии экспериментов британского психолога Сюзанны Миллар (Susanna Millar) использовались неполные контуры для представления букв, которые обычно показываются при помощи брайлевских символов. Это были неосязательные очертания обычных печатных букв — знаки представляли собой соединенные версии брайлевских ячеек. Результаты Миллар показали, что буквы Брайля можно читать и распознавать значительно быстрее в том случае, если они представлены в виде ячейки с точками, а не соединенных линий. Это означает, что небольшие тактильные символы могут быть более полезны, если они созданы из точек, образующих паттерны, а не из незамкнутых контуров.

Рисунок 10: примеры контуров, используемых Миллар для замены брайлевских ячеек.

Рисунок 11: написанное шрифтом Брайля слово «premier» («первый» на французском
языке).

3.8 Принципы разработки тактильного взаимодействия

В 2000 году Бен Челлис (Ben Challis), композитор и исследователь мультимедийных технологий, сформулировал предварительный набор принципов проектирования, позволяющий включить концепцию восприятия тактильной информации в человеко-компьютерный интерфейс. Он разработал экспериментальную систему, позволяющую незрячим студентам, обучающимся музыке, применять невизуальный мультимодальный подход к чтению нотной записи, которая являет собой яркий пример сложного типа графической информации. Для создания интерактивных страниц Челлис использовал стационарные полихлорвиниловые накладки в сочетании с резистивной сенсорной панелью. Эта комбинация давала пользователю возможность ощущать» структуру макета страницы, а затем выбирать соответствующие уровни поиска информации, которые озвучивались при помощи аудиофрагментов и синтезированной речи.

В начале исследования Челлисом были сформулированы три основополагающих принципа разработки: согласованность картирования, использование высоты символов и использование статических данных. В ходе исследования им были идентифицированы дополнительные принципы проектирования тактильного интерфейса: размер отображения, визуально-тактильное картирование, простота дизайна символа и, возможно, самый значительный аспект — наличие пустого пространства; последний критерий просто подразумевает области, в которых пользователь не получает информации о том, где и как исследовать информацию. Одно простое, но ключевое наблюдение заключалось в том, что тактильные диаграммы могут выглядеть не слишком хорошо и что дизайн вряд ли получит выгоду от чрезмерной зависимости от непосредственного визуально-тактильного картирования.

4. Тактильное взаимодействие в интерфейсе персонального компьютера

Когда речь заходит про внедрение технологий, использующих тактильное взаимодействие, то прежде всего следует рассматривать три основных существующих подхода: статические тактильные отображения, динамические тактильные дисплеи и технологии силовой обратной связи. У каждого из них имеются свои собственные явные достоинства и недостатки, так что именно характер задачи взаимодействия будет определять, какой подход будет наиболее эффективным.

Ян Оукли (Ian Oakley), один из основателей Института интерактивных технологий Мадейры (Madeira Interactive Technologies Institute), адъюнкт-доцент Института HCI при Университете Карнеги-Меллона (Carnegie Mellon University), разработчик мультимодальных интерфейсов в 2000 году предложил определения, позволяющие классифицировать тактильные технологии на основе сенсорных систем, которые больше всего затрагиваются в процессе взаимодействия:

• Гаптические (Haptic) — имеющие отношение к ощущению осязания.
• Проприоцептивные (Proprioceptive) — относящиеся к сенсорной информации о состоянии тела (включая кожные, кинестетические и вестибулярные ощущения).
• Вестибулярные (Vestibular) — относящиеся к восприятию положения головы, ускорения и замедления.
• Кинестетические (Kinesthetic) — соотносящиеся с ощущением движения. Относительно ощущений, возникающих в мышцах, сухожилиях и суставах.
• Кожные (Cutaneous) — относящиеся к собственно коже или коже как органу чувств. Включают в себя ощущения давления, температуры и боли.
• Осязательные (Tactile) — относящиеся к ощущению кожей давления, а не температуры или боли.
• Базирующиеся на силовой обратной связи (Force Feedback) — относящиеся к механическому воспроизведению информации, ощущаемой кинестетической системой человека.

4.1. Статические и динамические осязательные дисплеи

Если постоянное отображение контента является приемлемым решением, — например, для интерактивного информационного дисплея или элементов управления на выделенном устройстве, — то статическая накладка, устанавливаемая на соответствующую сенсорную поверхность (предположим, резистивную, емкостную, инфракрасную и т. д.) будет практичным способом взаимодействия, предлагающим, при необходимости, высокий уровень детализации. В противоположность этому динамический дисплей может обеспечить повышенную гибкость, поскольку подобный интерфейс не привязан к конкретному макету отображения. Динамически обновляющиеся дисплеи Брайля способствуют достижению подобной гибкости, но масштабы технологий, доступных в настоящее время, пока что не позволяют создавать тактильные символы приемлемого разрешения. 

Рисунок 12 A-Б: дисплеи Брайля.

Например, для достижения ощущения отслеживания непрерывной линии требуется минимальное разрешение 20 точек на дюйм (20 dpi). Даже при этом разрешении для создания дисплея площадью 20 дюймов на 15 дюймов (50 см на 30 см) потребуется 120 000 чувствительных элементов, и все же при этом диагональные линии по-прежнему будут восприниматься как прерывистые. Если предположить, что такая технология обеспечивает достижение еще более высокого и точного разрешения, то следует иметь в виду ее дальнейшую миниатюризацию. Каждый из этих элементов должен управляться отдельно; система должна иметь возможность обращаться к каждому из 120 000 элементов по одиночке, но в тоже время с невероятной быстротой. Механическая технология, способная обеспечить построение дисплея такого размера пока просто недоступна, и даже самая базовая из имеющихся технологий очень дорогая.

Одно из альтернативных решений этой сложной проблемы было воплощено в Системе тактильного замещения зрения (Heidelberg Tactile Vision Substitution System), разработанной в Гейдельбергском университете. В этой системе число требуемых «таксилей» было значительно уменьшено за счет использования виртуальной области отображения (думайте о «таксилях» как тактильных аналогах визуальных пикселей). Для достижения этой цели 48 таких «таксилей» были установлены на каретке, которая перемещается через большую зону отображения, для сканирования которой без применения подобной виртуализации потребовалось бы 2600 чувствительных элементов. Однако это все еще очень низкое разрешение с точки зрения общего определения понятия.

4.2. Технологии гаптического отображения

Частично под влиянием стремительного расширения рынка компьютерных игр — отчасти из-за общего интереса к виртуальным средам — доступные по ценам устройства, использующие 2 из перечисленных выше тактильных технологий — гаптическую и силовой обратной связи, — уже на протяжении достаточно долгого времени существуют в свободном доступе. Это джойстики с силовой обратной связью, вибрационные тактильные компьютерные мыши и т. д. Основанные на технологии силовой обратной связи и разработанные в рамках серии Phantom от SensAble Technologies сложные игровые устройства, такие как Novint Falcon, используются для обеспечения богатого и захватывающего ощущения физического присутствия в компьютерных играх.

Предлагающая три степени свободы рукоятка, управляемая двигателем, используется для передачи ощущений — таких как отдача, удар или различные уровни сопротивления — на ручное контрольное устройство, которое может иметь форму, например, пистолета или летучей мыши. Следует помнить, что, хотя термин «гаптический» подразумевает комбинацию тактильной и кинестетических обратных связей, описываемые здесь устройства в действительности не предоставляют значительной обратной связи на тактильном уровне. В этом отношении гаптическое восприятие в области виртуальных дисплеев вряд ли будет активным, и, следовательно, оно не полностью соответствует определению, представленному ранее. С данной точки зрения полезность подобных устройств (контроллеров) заключается в их динамическом характере, а не в богатстве гаптического взаимодействия, которое может быть достигнуто. 

Рисунок 13: пара черных контроллеров Novint Falcons с приставками в виде пистолета и шарообразного манипулятора.

Рисунок 14: видеоигры могут эффективно использовать силовую обратную связь, чтобы обеспечить пользователю полный эффект присутствия в игровой реальности. Диапазон ее применения варьируется от вибрационных геймпадов, позволяющих, например, имитировать столкновения и воздействие ударных волн, до физически взаимодействующих с пользователем джойстиков с принудительной обратной связью — таких, как изображенный здесь Sidewinder Force-feedback Pro от Microsoft — предлагающих игроку ощутить сопротивление внешней (пусть и виртуальной) среды или эффекты, подобные отдаче при стрельбе из пистолета.

Рисунок 15: более сложные системы силовой обратной связи (например, как те, что изготавливаются компанией Haption) могут использоваться для обеспечения поддержки тактильных технологий в виртуальных средах.

Рисунок 16: парашютный тренажер виртуальной реальности (Virtual Reality, VR). Надев очки виртуальной реальности, обучающийся повисает в комплекте парашютного снаряжения и учится контролировать свои движения при помощи серии воспроизводимых компьютером сценариев. Компьютер получает сигналы от ученика, когда тот тянет за стропы, позволяющие управлять парашютом. Инструктор также обучает персонал летного экипажа обращению с парашютом в различных погодных условиях и при возможных неисправностях оборудования.

5. Дальнейшие направления исследований

Представляется очевидным, что современный уровень технологий пока не способствует проектированию и производству динамических тактильных дисплеев, которые обеспечивали бы нам такое же богатство деталей и контрастность восприятия, что мы можем ощутить от взаимодействия с объектами нашего повседневного окружения. Однако хотя появление такого дисплея было бы очевидной конечной целью в контексте дополненной реальности (Augmented Reality, AR) или виртуальных окружающих сред, возможно, существуют гораздо более достижимые цели, которые по-прежнему будут иметь важное значение. Доступ к информации для пользователей с ослабленным зрением был важной особенностью в рамках данного обсуждения проблем человеко-компьютерного взаимодействия, и не вызывает сомнений, что действительно динамичный и функционально богатый тактильный дисплей мог бы принести значительную пользу в этой области. Например, электронные книги в настоящее время распространены повсеместно, но как насчет их осязаемых аналогов, в которых пользователь мог бы взаимодействовать с алфавитом Брайля и тактильными диаграммами? Насколько далеко мы находимся от подобного уровня динамического тактильного отображения?

Ранее мы рассмотрели проблемы, связанные с размером механических частей тактильных дисплеев — именно этот физический параметр обуславливает ограничения как в возможностях управления, так и в разрешении создаваемого отображения.

Однако в этой области произошли значительные прорывы, связанные с исследованием пикселей на основе геля, реагирующих на тепло. Насчитывающий всего 300 микрон в поперечнике, такой пиксель способен реагировать на тепло от точечного источника света и уменьшаться до половины своей первоначальной высоты 0,5 мм; пиксель также становится непрозрачным, так что изменение довольно ощутимо и в визуальном плане. Экспериментальный дисплей содержит более 4000 таких пикселей, причем в каждом квадратном сантиметре их содержится приблизительно 297 штук, что обеспечивает создание тактильной графики с точным разрешением.

Тем не менее, частота обновления такого устройства по-прежнему остается медленной по сравнению со стандартным ЖК-дисплеем — примерно такой же так же, как у обычной электронной книги. Это все еще развивающаяся технология, но такая, которая при достижении совершенства действительно сможет открыть врата к обеспечению богатого тактильного взаимодействия во всех новых «осязательных» интерфейсах.

Высоких вам конверсий! 

По материалам: interaction-design.org