Мультимедиа и мультимедийные технологии: где используются и для чего

Мультимедиа — это совокупность разнообразного контента, который человек потребляет одновременно через разные органы чувств. Пример мультимедиа — симулятор вождения автомобиля для сдачи экзамена в ГАИ.

В нем есть все: и графика, и звук, и текстовые подсказки, и интерактивное управление через игровой руль. Чтобы пользоваться симулятором, человек задействует глаза, уши, руки.

Мультимедиа используют, чтобы развлекать людей, проводить исследования и продавать товары и услуги. Но особое место мультимедиа занимает в обучении — причем обучать можно самые разные группы людей — школьников и студентов, граждан, сотрудников компаний, покупателей и др.

Рассказываем в статье, что за зверь — мультимедиа, приводим мультимедийную историю и поясняем, как правильно использовать мультимедиа в бизнесе и обучении, чтобы не было когнитивной перегрузки.

Содержание

Что такое мультимедиа?

Линейное
Нелинейное

Какие технологии используют в мультимедиа?

Аппаратные средства
Программные средства

Кто придумал технологию мультимедиа?

В каких сферах используют мультимедиа?

Образование
Медицина
Игровая индустрия
Бизнес
Военная сфера
Искусство
Архивное дело

Что такое мультимедийные средства обучения?

Как учиться с мультимедиа и избежать когнитивной перегрузки?

Что такое когнитивная перегрузка?
Как работает мозг с мультимедиа?
12 правил использования мультимедиа

Что запомнить

Что такое мультимедиа?

Мультимедиа — это воздействие контентом на человека через несколько информационных каналов: зрительный, слуховой, тактильный, мышечный, вестибулярный.

Презентации и 4D-кино — это мультимедиа-объекты. В презентациях используют анимацию, звук и графику (слух и зрение). А в 4D-кино зрители могут ощущать движение и вибрацию кресел, ветер, дым, брызги воды и запахи — тут задействованы все пять каналов.

Если человек использует несколько информационных каналов, чтобы воспринимать контент, он имеет дело с мультимедиа. Изображение: Pixera.one

Но мультимедиа не просто солянка из разного контента: это также компьютерная технология, которая объединяет, обрабатывает, хранит, передает и отображает разные компоненты данных: текст, графику, анимацию, видео, звук и речь.

Про технические средства поговорим далее, а пока подробнее разберем компоненты:

• Текст: передает конкретные сведения или подкрепляет другие компоненты. Например, сайты в интернете содержат картинки. Стандартно пользователь открывает страницу и видит изображение. Но если изображение по какой-то причине не загрузилось, вместо изображения загрузится поясняющий текст.

• Гипермедиа: это принцип организации информации, в котором данные соединены логически или ассоциативно гиперссылками. Пример гипермедиа — Всемирная паутина. В ней пользователь может получать доступ к связанным между собой документам на различных компьютерах, если те подключены к интернету.
• Изображения: это иллюстрации, фотографии, векторная графика и любой статичный визуал. Они нужны, чтобы дополнять текст и делать его восприятие проще. С помощью изображений объясняют сложные вещи, как, например, в инфографике.

• Аудио: это речь, музыка и звуковые эффекты. Аудио используют, как чтобы дополнить другие компоненты, так и чтобы передавать независимые данные. Пример: речь диктора в подкасте — вполне самостоятельный компонент, которому не нужен ни визуал, ни анимация.
• Видео: это движущиеся друг за другом изображения, которые образуют логическую цепочку. Чаще всего видеоконтент используют вместе с аудио в обучающих или развлекательных целях.
• Анимация: это различные эффекты, которые возникают перед пользователем произвольно или в ответ на его манипуляции — нажатие клавиш, кнопки мыши, тачпада.

В зависимости от того, как человек взаимодействует с мультимедиа, выделяют две группы: линейное и нелинейное мультимедиа.

Линейное

Или по-другому неинтерактивное мультимедиа. Пользователь не может ни управлять таким мультимедиа, ни взаимодействовать с ним. Пользователь потребляет контент в той форме, в которой его создали.

Линейное мультимедиа задействует разные информационные каналы человека, кроме тактильного, поскольку таким мультимедиа нельзя управлять

Фильм — пример линейного мультимедиа. Он идет последовательно, от начала до конца. Зритель не может поменять героев местами, повлиять на сюжет или изменить озвучку.

Но линейные мультимедиа не бесполезны. Они подходят, когда надо донести информацию для большой группы людей. Допустим, на тренингах и семинарах, где десятки слушателей — если каждый начнет менять контент под себя, получится хаос, и никто ничего не поймет.

Нелинейное

В нелинейных медиа пользователь может управлять контентом как пожелает: менять скорость воспроизведения, визуальную форму — с 2D переходить на 3D, включать или отключать голос диктора.

В нелинейном мультимедиа пользователь может управлять его компонентами как пожелает за счет интерактивного взаимодействия — кнопок, клавиш, манипуляторов, джойстиков или регуляторов

Компьютерная игра — типичное нелинейное мультимедиа. Геймер выбирает сюжетную линию, меняет внешний вид персонажа и прокачивает его.

Онлайн-игра «Мир танков» — типичное интерактивное мультимедиа

Какие технологии используют в мультимедиа?

Мультимедиа — это не только способ подачи контента, но и технологии. Они базируются на аппаратных и программных средствах, которые также включают в себя разные элементы.

Любая мультимедийная технология состоит из аппаратной и программной частей

Аппаратные средства

Если кратко, это различная аппаратура и ее компоненты, которые нужны, чтобы воспроизводить мультимедийный контент, по-простому — «железо». Аппаратные средства разработчики используют в комплексе, чтобы создать и выпустить некий девайс: компьютер, смартфон, очки виртуальной реальности.

К аппаратным средствам относят:

• средства звукозаписи — платы, микрофоны, гарнитура;
• средства звуковоспроизведения — усилители, колонки, акустические системы, наушники;
• манипуляторы — компьютерные мыши, джойстики, тачпады, стилусы, игровые рули;
• средства виртуальной реальности — перчатки, очки, шлемы;
• носители информации — CD, DVD, HDD, флеш-накопители;
• средства передачи — видеокамеры, цифровые фотоаппараты, смартфоны;
• средства записи — DVD-ROM, CDRW/DVD+RW, TV&FM-тюнеры;
• средства обработки изображения — платы видеомонтажа, клавиатуры, графические акселераторы;
• готовые девайсы — компьютеры, телевизоры, ноутбуки, смартфоны, планшеты. 

Аппаратные средства — это и готовые девайсы вроде смартфонов, и различные платы, схемы и карты, которые сами по себе мало что могут

Программные средства

Это ПО, софт и различные веб-приложения, в которых пользователь непосредственно потребляет или создает мультимедийный контент.

К программным средствам относят:

• онлайн-энциклопедии,
• интерактивные обучающие курсы,
• игры,
• графические редакторы,
• программы видеомонтажа и 3D-моделирования, а также
• ПО, которое управляет непосредственной работой «железа».

У таких программ нет пользовательского интерфейса — юзеры работают в них через машинные команды.

Программные средства — это готовые мультимедийные приложения, ресурсы и контент

Кто придумал технологию мультимедиа?

Зарождение мультимедиа началось с концепции машины МЕМЕХ. Ее предложил американский ученый Ванневар Буш в 1945 году. Он считал, что информация на бумаге — прошлый век, а поиск данных по алфавитному указателю или индексу давно устарел, поэтому наука обязана предложить людям больше.

В качестве альтернативы он разработал концепцию фото-электромеханической машины МЕМЕХ. Сразу оговоримся: машину ученый так и не построил, зато описал ее работу.

По задумке, информация в МЕМЕХ должна была храниться в виде микрофильмов, а сама машина — выглядеть как письменный стол с экранами. Предполагалось, что на эти экраны проецировался бы контент с микрофильмов.

Представление машины MEMEX Ванневаром Бушем. Изображение: Longstreet.typepad

В микрофильмах должны были храниться различные книги, картинки, газеты. Специальный прозрачный валик занимался бы индексированием этого контента, то есть выдавал бы конкретный. Стоило человеку набрать на вмонтированный в стол клавиатуре необходимый код, как машина запускала проекцию и книга возникала на экране MEMEX.

Инновационная идея заключалась в том, что поиск информации машиной должен был происходить не по порядковому номеру, алфавитному указателю или индексу, а согласно смысловому содержанию через перекрестные ссылки. Эти ссылки создает мозг человека, поэтому для навигации человек должен был использовать специальный мультимедийный шлем.

Мультимедийный шлем для работы с машиной MEMEX. Изображение: Onlineresize.club

По сути, Буш не просто придумал машину, а сформировал концепцию мультимедиа с гипертекстом и интерактивным взаимодействием.

Следующее важное событие в развитие технологии — появление первой компьютерной игры в 1952 году. Логическая игра «OXO» представляла собой цифровую версию «Крестиков-ноликов». Игру создал А.С. Дуглас во время своего обучения на докторскую степень в Кембриджском университете, в Великобритании.

Игра существовала в единственном экземпляре на большом компьютере EDSAC. Для игры использовался вращающийся телефонный диск, подключенный к компьютеру. Каждая ячейка на сетке крестиков-ноликов соответствовала одной из цифр на циферблате. Чтобы сделать ход — поставить крестик или нолик — игрок набирал эту цифру на телефонном диске, после чего компьютер делал ответный ход. 

Первая игра позволяла игроку управлять процессом и видеть его на экране. Изображение: Lifewire.com

А через десятилетие, в 1962 году после многих лет работы Мортон Хейлиг представил первое в мире VR-устройство под названиями Sensorama. Человек садился на стул, который двигался вместе с устройством, а большой стереоскопический экран и динамики создавали визуальные и звуковые картины. В устройстве использовалась аэродинамическая труба для создания воздушных эффектов, а также распылитель запахов.

Sensorama — первое в мире VR-устройство. Изображение: Engadget

Но серьезный толчок в развитии мультимедиа произошел только в 80-х годах XX века. Американский компьютерщик и бизнесмен Билл Гейтс создал мультимедийный продукт National Art Gallery. London. По сути, он оцифровал музейную базу данных: контент включал изображения, звук, анимацию и гипертекст.

Дальше — больше. 12 августа 1981 года IBM представил первый в мире персональный компьютер. Это был 16-битный процессор с рабочей частотой 4,77 мегагерц, 64 килобайтами оперативной памяти. Компьютер поставлялся с одним или двумя дисководами. В следующие годы компьютеры совершенствовались, а вместе с ними и мультимедийные технологии.

Первый персональный компьютер IBM имел два видеоадаптера на выбор: MDA — для монохромного алфавитно-цифрового дисплея или CGA — для цветного графического дисплея, к которому можно было подключить композитный монитор и даже простой телевизор. Изображение: gazeta.ru

В каких сферах используют мультимедиа?

Фактические во всех: в рекламе, обучении, развлечении, медицине, бизнесе, искусстве.

Образование

В образовании используют видео, цифровые энциклопедии, интерактивные путеводители, тренажеры, игры, тесты и стимуляторы. Учиться через мультимедиа проще, поскольку человек использует несколько органов чувств.

Это значит, что над запоминанием информации работают разные отделы мозга, и в итоге человек тратит меньше времени, чтобы изучить предмет, а полученные знания дольше хранятся в памяти.

Медицина

В медицине специалисты используют мультимедийные базы знаний, методики операций, каталоги лекарств. Существуют даже медицинские стимуляторы. С помощью VR и роботов врачи проводят операции, учатся оказывать первую медицинскую помощь, нарабатывают навыки общения с пациентами.

Наложение швов с помощью симулятора. Изображение: Sim-med

Игровая индустрия

Один из лидеров по использованию мультимедийных технологий — компьютерных и мобильных игр, а также приставок. В них используют графику, звук, манипуляторы для управления персонажем, звуковые и визуальные эффекты, а еще элементы дополненной реальности. Фактически игрок может погрузиться в трехмерный виртуальный мир полностью, поскольку использует зрение, слух и руки (тактильность).

Бизнес

Мультимедийные технологии использует бизнесе — это:

• интерактивный рекламный и информационный контент для привлечения внимания потребителей;
• анимированные презентации со звуковыми эффектами на встречах с инвесторами,
• рекламные видеоролики и прямые эфиры с экспертами для повышения узнаваемости бренда;
• приложения, спецпроекты и даже электронная очередь. Помимо своего основного назначения, она собирает статистику и отчеты по услугам.

Спецпроект Росатома и «ТАСС» — это набор интерактивных карточек, иллюстраций, анимации, инфографики, рассказывающих про атомную энергию, мир без мусора и зеленую Арктику

Военная сфера

Мультимедиа используют, чтобы обучать солдат и отрабатывать боевые и тактические навыки: как обслуживать военную технику, оказывать медицинскую помощь и действовать слаженно в стрессовых ситуациях.

Например, VR- и AR-технологии используют, чтобы учиться проводить военные операции и сажать самолеты. В состав подобных тренажёров часто входит учебная кабина, которая имитирует военную технику, экран и шлем виртуальной реальности.

Пример мультимедийного тренажера для обучения солдат. Иллюстрация: Dvidshub

Искусство

Мультимедиа делают искусство доступным. У людей появляется шанс услышать произведения композиторов, увидеть цифровые копии картин, прочитать книги с экранов компьютеров, посмотреть записи театральных постановок, и все это — не выходя из дома. Можно даже подключаться к трансляциям концертов в режиме реального времени — такое было популярно в пандемию.

Отдельное применение мультимедиа в сфере искусства — виртуальные туры. Человек может посещать популярный места, например Эрмитаж в Санкт-Петербурге, находясь за сотни километров.

Виртуальные визиты используют объекты культурного наследия: музеи, дворцы, крепости

Архивное дело

Мультимедийный софт используют, чтобы вести архивы и готовить документацию на сложные технические изделия. Мультимедиа применяется в картографии, а еще его использую коллекционеры. Они составляют каталоги слайдов с изображениями почтовых марок, этикеток, картин.

Что такое мультимедийные средства обучения?

Мультимедийные средства обучения — это интерактивные обучающие материалы на базе мультимедийных технологий. То есть ученики могут напрямую взаимодействовать с контентом: менять язык, убавлять громкость и менять скорость воспроизведения, уменьшать или увеличивать сложность.

Мультимедийное обучение — это особый подход, который выстроен на когнитивной теории обучения. Теорию мультимедийного обучения разработал педагог-психолог Калифорнийского университета Ричард Мейер. Он считал, что продуктивным можно назвать обучение, в котором вербальный и визуальный контенты синхронно воспринимаются человеком. 

Принцип мультимедийного обучения

До теории Мейера считалось, что мозгу трудно воспринимать одновременно два вида информации: визуальную и звуковую. Якобы учащийся может испытывать перегрузку и плохо концентрироваться. Мейер доказал обратное.

Теория Мейера строилась на том, что необходимо использовать смешанное обучение — вербальное и невербальное. А для этого необходимы мультимедийные материалы. То есть средства, которые используют визуальный и звуковой контент. Они помогают быстрее усваивать материал, особенно, если обладают интерактивностью.

Просто пример таких средств — презентации. В них используют изображения, анимацию, звуки, текст.

Презентация — простой пример мультимедийного средства обучения

Другой пример — мультимедийные тренажеры. На таких готовят пилотов. Тренажер имитирует кабину самолета и разные ситуации, которые должен решать летчик, плюс позволяет взаимодействовать интерактивно: нажимать кнопки, выставлять настройки, говорить по рации.

Мультимедийный тренажер для пилота. Изображение: Techcult

Преимущества мультимедийных средств перед печатными следующие:

• помогают проще воспринимать учебный материал;
• повышают мотивацию к обучению, поскольку не так занудны, как зубрежка по книжке;
• используют всесторонний подход к обучению, из-за чего обучающийся глубже понимает предмет;
• позволяют моделировать сложные или опасные эксперименты, которые нельзя получить в реальной жизни;
• визуализируют абстрактную информацию — через схемы, инфографику, анимацию — из-за чего мозгу ее проще усвоить.

В итоге не человек подстраивается под обучение, а средства обучения подстраиваются под человека.

Как учиться с мультимедиа и избежать когнитивной перегрузки?

Что такое когнитивная перегрузка?

Как мы говорили выше, в мультимедийном обучении человек обрабатывает информацию через глаза и уши. Однако есть особенность: человек может пропустить через себя гору информации, но не факт, что мозг все усвоит.

Если информации много, то когнитивная (по-другому, мыслительная) обработка снижается и человек перестает воспринимать контент. Это и есть когнитивная перегрузка.

Согласно теории когнитивной нагрузки австралийского педагога-психолога Джона Свеллера 1988 года

Когнитивная перегрузка может иметь разные причины.Чтобы их выявить, нужно понять, как работает наш мозг при обучении с мультимедийными средствами.

Как работает мозг с мультимедиа?

Когда человек впитывает обучающий мультимедийный материал, его мозг может испытывать три вида нагрузки:

1. Внешняя, или лишняя обработка. Эта нагрузка тратит ресурсы мозга на вещи, которые не важны в обучении, например осмысляет картинки, которые только приукрашают презентацию, но к предмету отношения не имеют.
2. Внутренняя нагрузка, или основная обработка. Заставляет мозг сохранять знания в памяти. Чем сложнее материал, тем больше нагрузка.
3. Немецкая нагрузка, или генеративная обработка. Заставляет мозг осознавать изучаемый материал. Бесконечный поток или плохо структурированный текст увеличивают нагрузку.

12 правил использования мультимедиа

Вот основные принципы мультимедийного обучения и вытекающие из них правила. Мы рекомендуем следовать им, если вы действительно хотите донести информацию до пользователя:

• Принцип согласованности: необходимо убирать из обучающих материалов лишние детали, которые к предмету или изучаемой области отношения не имеют.

Еще не стоит добавлять контент, который не относится к теме, но вызывает эмоциональные реакции, например мемы. Из-за особенностей внимания студенты, скорее всего, запомнят веселые картинки, а не сам предмет. 

• Принцип сигнализации: принцип гласит, что если на экране отображается разный обучающий контент — к примеру, график и схема — учащиеся должны понимать, в какой последовательности они должны их изучать.

• Принцип избыточности: мультимедийные средства обучения могут включать речь, графику, видео, анимацию и текст. Однако с мозгу легче всего обрабатывать информацию, если она содержит только звуковой и визуальный контент.

• Принцип пространственной смежности: в мультимедийный материалах текстовый контент должен находиться рядом с графикой, которую он описывает. Это сводит к минимуму когнитивные усилия, которые учащиеся тратят, чтобы самостоятельно связать текст и изображения.

• Принцип временной смежности: повествование и анимация должны воспроизводиться одновременно. Например, учащиеся не должны слышать о каком-то процессе, и только потом видеть, как он запускается.

• Принцип сегментации: когда учащиеся могут контролировать скорость поступающих данных, они лучше запоминают информацию.

• Предтренировочный принцип: учащиеся могут быть перегружены количеством или сложностью информации в мультимедийных материалах. Чтобы этого избежать, надо определить ключевые термины или понятия, объяснить их и только после углубляться в сложные описания.

• Принцип модальности: принцип модальности рекомендует использовать устное повествование вместо печатного текста на экране, если на нем одновременно присутствуют изображения. Если мультимедийные сообщения содержат и изображения, и текст, их комбинация перегружает зрительные каналы учащихся.

• Мультимедийный принцип: слова должны быть либо напечатаны, либо произнесены, но не то и другое одновременно.

• Принцип персонализации: жесткий академический язык способен перегружать учащихся. Вместо профессиональной терминологии лучше использовать неформальный язык — это упрощает процесс запоминания.

• Голосовой принцип: текст в учебных мультимедийных материалах должен читать человек, а не робот или компьютер. Чтец-робот не умеет менять интонацию, делать паузы, из-за чего речь воспринимается как монотонный поток слов.

• Принцип изображения: когда в обучающих материалах есть изображения людей, это никак не улучшает результаты обучения, а, наоборот, вредит. Лицо и мимика человека, пусть и преподавателя, отвлекают внимание.

Что запомнить

1. Мультимедиа — это совокупность разнообразного контента, который человек потребляет, используя одновременно разные органы чувств. А также это технология, которая позволяет этот контент производить.
2. Основные компоненты мультимедиа — текст, гипермедиа, изображения, видео, анимация, аудио.
3. Мультимедиа может быть линейным — пользователь потребляет его в том виде, в каком его создали разработчики. Или нелинейным: пользователь может управлять, менять и всячески взаимодействовать с мультимедиа.
4. Как технология мультимедиа строится на аппаратных и программных средствах.
5. Мультимедиа используют в медицине, образовании, игровой индустрии, в бизнесе, в военной сфере, искусстве и архивном деле.
6. Мультимедийные средства обучения — это интерактивные обучающие материалы, которые воздействуют на вербальный и невербальные каналы человека: глаза и уши. Такие материалы помогают быстрее и легче усваивать предмет.
7. Мультимедийные средства обучения могут вызывать когнитивную перегрузку — когда мозг человека перестает воспринимать материал.
8. Чтобы избежать перегрузки, создателям мультимедийных материалов следует придерживаться определенных принципов: не добавлять бэкграунд музыку, не использовать анимацию вместе с текстом, не добавлять мемы и изображения диктора/преподавателя/чтеца и др.

Высоких вам конверсий!