Исследование Алтайской сесии: ключевые моменты и результаты

Жестовый интерфейс

Переключение аккаунтов в разных приложениях

Большинство приложений Google в сейчас имеют информацию об учетной записи и меню переключателя, доступ к которому можно получить, коснувшись своего аватара в правом верхнем углу экрана. Чтобы ускорить процесс, необходимо провести вверх/вниз по самому аватару, чтобы переключить аккаунты. Это работает в Gmail, Поиске Google, Контактах, Фото, Диске, Доме, Фильмы, Play Маркет и т.д. Для кого-то вроде меня, который часто переключается между личными, рабочими и семейными учетными записями, этот жест является благом. Я могу за доли секунды перейти от проверки личных документов на Google Диске к своему рабочему хранилищу.

Для чего нужен интерфейс

С его помощью решается ряд задач:

  • введение команд и отправка запросов;
  • получение от системы ответа в понятной любому человеку форме — звук, картинка, текст;
  • обмен информацией между системами, программами, устройствами;
  • взаимодействие человека и устройств, ОС;
  • управление программами и утилитами;
  • получение данных об ошибках, каких-то нарушениях в алгоритмах и возможности их исправления.

С помощью интерфейса человек может получить любую информацию в интернете просто нажав соответствующие иконки на смартфоне. То есть благодаря этому посреднику взаимодействие человека и устройства облегчается, становится интуитивно понятным использование.

Ценность оптимизации под поисковые системы

В разработке графического интерфейса пользователя GUI и сайта есть как схожие моменты, так и различия. Например, посетитель пользуется навигацией по сайту. Он выбирает определенный путь сквозь структуру страниц. В графическом интерфейсе разработчик может контролировать, какие пункты будут доступны пользователю в тот или иной момент. Если функция недоступна, разработчик может скрыть эту опцию.

В случае с сайтом у пользователя всегда есть возможность вернуться назад на страницу. Следовательно, навигацию также необходимо учитывать при создании сайта. Иерархия страниц должна быть максимально прозрачной и продуманной. Если ваш сайт состоит из нескольких уровней, то логично использовать навигацию типа “хлебные крошки”.

Люди используют программы уже достаточно долгое время. Следовательно, мы уже привыкли к большинству стандартных элементов любого графического интерфейса. Сайты же появились относительно недавно.

Веб-дизайнеры должны стараться продумать опыт взаимодействия с пользователем на максимальном уровне, и руководствоваться при этом проверенными практиками. Например, меню навигации лучше всего располагать в левом верхнем углу. Как вебмастер вы должны убедиться, что все элементы легко доступны любому посетителю. Это сделает ваш сайт удобным для использования.

Валентин Сейидовавтор-переводчик

Яркие примеры использования жестов в мобильном дизайне

Приложение Google Maps

Также в Google Maps можно перелистывать результаты поиска адреса и альтернативные маршруты просто «свайпая» их. С помощью жестов в этом мобильном приложении можно даже поворачивать или изменять угол отображения карты, используя multi-touch жесты.

Clear

Clear, мобильное приложение на базе iOS, которое является электронным органайзером для управления целями или задачами. Это отличный пример того, как должно выглядеть приложение, ориентированное на жесты. Его главная вау-черта заключается в том, что оно управляется исключительно жестами, такими как «свайп» или «скроллинг». Интересным фактом является то, что у него нет кнопок вообще. Он использует «свайпы» влево или вправо для добавления и удаления задач из списка дел.

Разработчики реализовали прямоугольный дизайн, который позволяет пользователям интуитивно понимать, что каждый элемент управляется с помощью жестов. Как видите, недостаточно внедрить использование жестов при разработке дизайна приложения

Крайне важно, чтобы ваш дизайн подсказывал пользователям, какие жесты можно использовать

Приложения, управляемые жестами, становятся тенденцией в дизайне мобильного пользовательского интерфейса. Движения, основанные на большом и указательном пальцах, улучшают то, как мы привыкли управлять мобильными решениями. Они обеспечивают множество различных комбинаций, которые мы часто используем для манипулирования физическими предметами, позволяя нам открыть необходимый экран быстрее. Жесты — это будущее мобильного дизайна, потому что они предоставляют различные преимущества как для разработчиков приложений, так и для пользователей.

Разработчики студии stfalcon.com обладают большим опытом в  разработке кастомного дизайна и создании нативных приложений под Android. Напишите нам на  [email protected] чтобы поделиться своей идеей. Мы с радостью ответим на все ваши вопросы и поможем реализовать проект вашей мечты!

Использование технологии

Ещё в конце прошлого столетия компьютерное зрение было доступно только исследовательским центрам и крупным корпорациям. Оборудование для распознавания стоило десятки тысяч долларов и применялось ограниченным кругом компаний.

Развитие IT-сферы вывело CV в категорию доступных инструментов для государства, бизнеса, простых пользователей. Камеры на дорогах следят за нарушением скоростного режима, сервис «Умный город» помогает быстро разыскивать преступников. А умными устройствами теперь можно управлять с помощью жестов.

Жестовое управление интерфейсами помогло решить сразу несколько задач:

  • повысить лояльность и интерес пользователей;
  • оптимизировать и сделать удобнее взаимодействие с различными устройствами;
  • увеличить полезную зону экрана, убрав кнопки управления.

Распознавание жестов руки используют в работе виртуальных ассистентов, для сурдоперевода, в приложениях с дополненной реальностью, развлекательных сервисах. Все возможности трёхмерного CV применяют в 3D-фильмах, в AR и VR-играх, в программах определения лиц, на крупных производствах для контроля процессов.

Sber предлагает разработчикам приложений для ассистентов Салют внедрить в свои продукты жестовое управление и другие функции компьютерного зрения. Computer Vision API — это библиотека, которая открывает доступ к сервису распознавания образов.

Предоставляет опции:

  • трекинг лица и тела;
  • распознавание лица по 5 точкам — глазам, носу и уголкам губ;
  • 17 точек для определения позы и положения тела;
  • отделение тела от фона;
  • набор жестов.

С инструментами библиотеки интерфейсы нативных приложений, которые работают на SberPortal и SberBox Top, смогут управляться жестовыми движениями:

  • символ V пальцами для активации ассистента;
  • ладонь в кадре — знак «стоп»;
  • оценка «лайком» или «дизлайком» музыки и видео в стриминговых сервисах;
  • палец у рта — знак «тихо», выключает звук;
  • «OK» пальцами — команда ввода.

Кроме того, библиотека позволяет использовать:

  • трекинг передвижений спикера в кадре во время видеозвонков;
  • разграничение доступа к настройкам и контенту для различных членов семьи и сотрудников через распознавание лиц;
  • компьютерное видение движений человека, который повторяет танец с экрана, для танцевальных AR-игр.
note

Пользователи умных девайсов могут оценить не только удобство, но и пользу компьютерного зрения. Например, с набором Kidsar SberPortal становится полноценной развивающей платформой для детей. Специальное зеркало меняет угол обзора камеры — она видит расположенные на столе карточки с заданиями и действия ребёнка.

Программа контролирует правильность выполнения заданий, оживляет на экране созданные поделки. А ребёнок, который ещё не умеет читать, сможет управлять приложениями голосом или жестами.

Компьютерное зрение охватывает всё больше сфер. В сельском хозяйстве дроны следят за полями, в промышленности роботы контролируют производство, в крупных торговых сетях камеры отслеживают наличие товаров на полках. Решение применяют даже экоактивисты: например, с помощью умных устройств отслеживают популяцию амурских тигров. Закономерно, что компьютерное зрение нашло спрос и среди обычных пользователей, поэтому распознавание жестов — логичное и перспективное направление развития CV.

Продукты из этой статьи:

Бесконтактный интерфейс

Бесконтактный пользовательский интерфейс — это новая технология, связанная с управлением жестами. Бесконтактный пользовательский интерфейс (TUI) — это процесс управления компьютером с помощью движений тела и жестов без касания клавиатуры, мыши или экрана. Бесконтактный интерфейс в дополнение к управлению жестами становится широко популярным, поскольку они предоставляют возможность взаимодействовать с устройствами, не касаясь их физически.

Типы бесконтактных технологий

Существует ряд устройств, использующих этот тип интерфейса, например смартфоны, ноутбуки, игры, телевидение и музыкальное оборудование.

Один из типов бесконтактного интерфейса использует Bluetooth-соединение смартфона для активации системы управления посетителями компании. Это избавляет от необходимости прикасаться к интерфейсу во время пандемии COVID-19 .

Значение мультитач в современном мире

Теперь, когда мы познакомились с этим устройством, возникает вопрос о том, что значит мультитач экран в современном мире? Может быть, в этой функции нет никакого смысла и переплачивать за неё готовы не все? Это только так кажется, на самом деле, такие прикосновения к экрану не просто упрощают поставленную задачу, но и экономят время пользователя. Вы, конечно, не замечаете, как машинально пытаетесь увеличить картинку двумя пальцами рук. Согласитесь, эта функция очень удобна и возникает недоумение, когда новый сенсорный гаджет не реагирует на это действие.

Если рядовой пользователь сможет прожить без этих новшеств в аппарате, то заядлый игроман столкнётся с массой трудностей. Сегодня многие известные производители адаптируют управление игрового процесса именно под мультитач экран. Они просто отказываются от кнопочных команд и используют современные технологии для упрощения процесса игры.

Использование мультитач в гаджетах:

  • Управление играми и развлекательными приложениями.
  • Масштабирование изображения одним касанием.
  • Легкое управление приложениями и экономия времени.

Регулирование поставки касаний к представлениям

Могут быть времена, когда Вы хотите, чтобы представление получило касание перед устройством распознавания жеста. Но, прежде чем можно изменить путь поставки касаний к представлениям, необходимо понять поведение по умолчанию. В простом случае, когда касание происходит, сенсорный объект передается от возразите против объект. Затем окно сначала отправляет, касания к любым устройствам распознавания жеста присоединили представление, где касания произошли (или к суперпредставлениям того представления), прежде чем это передаст касание самому объекту представления.

  Поставка Значения по умолчанию рисунка 1-5 соединяет каналом для сенсорных событий

USB mouse

USB mice, just like any other HID device, communicate with the software using reports, which are sent via interrupt endpoints or can be manually requested with the «GetReport» request. USB mice have a protocol value of 2 in the interface descriptor.

Report format

This report must be requested by the host using interrupt transfers once every interval milliseconds. Interval is defined in the interrupt IN descriptor of the USB mouse device. Only the first three bytes of the USB mouse report are defined. The remaining bytes, if existed, may be used for device-specific features. Software may request only three bytes in an interrupt transfer, and this will not cause an error even if the actual packet is larger. The table below defines the report format for USB mice operating using the boot protocol.

Offset Size Description
Byte Button status.
1 Byte X movement.
2 Byte Y movement.

Button status: This byte is a bitfield, in which the lowest three bits are standard format. The remaining 5 bits may be used for device-specific purposes.

Bit Bit Length Description
1 When set to 1, indicates the left mouse button is being clicked.
1 1 When set to 1, indicates the right mouse button is being clicked.
2 1 When set to 1, indicates the middle mouse button is being clicked.
3 5 These bits are reserved for device-specific features.

X movement: This is a signed 8-bit integer that represents the X movement. Bit 7 (value 0x80) determines the sign of the value. When this value is negative, the mouse is being moved to the left. When this value is positive, the mouse is being moved to the right. Notice that unlike PS/2 mice, the movement values for USB mice are 8-bit signed integers and not 9-bit integers.

Y movement: This is also a signed 8-bit integer that represents the Y movement. When this value is negative, the mouse is being moved up. When the value is positive, the mouse is being moved down (towards the user.)

Размеры иконок и минимальный размер цели нажатия

Google Material Design System

В системе для иконок используются два размера: 48×48 dp для домашнего экрана и Play Market, а также 24×24 dp ― размер для папок и системных разделов. Уменьшение иконок происходит автоматически.

  • Иконка приложения должна быть 32-битной, в формате PNG с прозрачным фоном.
  • Размер иконки ― 48×48 dp: это соответствует размеру 48×48 рх для экранов с разрешением 160 dpi и 192×192 для разрешения 640 dpi. Гайдлайн рекомендует просматривать и редактировать иконку в размере 192×192 рх.
  • Иконка должна быть квадратной с прямыми углами и без подложек: в системе иконки имеют скруглённые углы и отбрасывают тени, но оба этих эффекта создаются системой автоматически.
  • Обязательное требование к иконке ― внутренние поля в 1 dp, которые нужно закладывать при проектировании.


Разница между иконками для минимального и максимального разрешений экранаИзображение:

Apple Human Interface Guidelines

iOS имеет более сложную иерархию иконок. В максимальных разрешениях экрана используется пять размеров:

  • 1024×1024 px в магазине приложений App Store;
  • 180×180 px на рабочем столе;
  • 120×120 px в результатах поиска приложения в Spotlight;
  • 87×87 px в настройках;
  • 114×114 px в уведомлениях.

Гайдлайн рекомендует создавать для каждого из размеров отдельный файл. Если этого не сделать, иконка будет уменьшена автоматически.

Читайте историю Сьюзен Кэр ― автора первых иконок для Apple в нашей статье.

Требования к иконкам:

  • иконка должна иметь непрозрачный фон и быть сохранена в формате PNG без надписей, наложений и рамок;
  • форма ― квадрат; иконки имеют скруглённые углы, но система генерирует их автоматически;
  • система использует однопиксельные поля вокруг иконки, но рисовать их не нужно ― они также создаются автоматически.

Жесты для работы в режиме Near Mode (прямой ввод данных)

Изначально сенсор Kinect распознавал движения, производимые всем телом, но теперь благодаря наличию режима Near Mode в новой версии его функционал значительно расширился. Ниже приведены примеры жестов, которые можно использовать, сидя за ПК, с иллюстрациями из библиотеки жестов Think Moto:

  1. Сдвиг, растягивание и сжатие: это базовые жесты бесконтактного управления, аналогичные жестам для работы с сенсорным интерфейсом.
  2. Тяни-толкай: эти жесты можно использовать для приближения или отдаления объектов на экране.
  3. Захват и отпускание: так как в жестовых интерфейсах для масштабирования элементов используются жесты сжатия и растягивания, описанные выше, то щипковый жест можно использовать для захвата объектов на экране. «Схватив» такой объект, пользователь может управлять им посредством вторичных жестов.
  4. Поворот: в качестве примера вторичного жеста можно привести поворот. Благодаря тому что в бесконтактных жестовых интерфейсах к привычным двум измерениям добавляется третье, «схваченный» объект можно поворачивать, тем самым меняя его форму или положение (например, переворачивая карту или вращая куб).
  5. Бросок: еще один вторичный жест — пользователь может «бросить» объект на экране, чтобы быстро переместить его подальше. Этот жест можно связать с удалением объекта либо с его перемещением в 3D-пространстве.

Технология SmartTech

DViT (Digital Vision Touch) — дисплейная проекционная система с функцией трекинга рук оператора, разработана фирмой SMART Technologies в 2003 году. Можно применять как переднюю, так и заднюю проекцию. Основная заслуга фирмы — разработка базового программного обеспечения для поддержки так называемой электронной доски. ПО работает в среде Windows. Электронная доска состоит из проекционной системы, проецирующей изображение на обычную доску (диффузионный экран), и системы машинного зрения на базе микровидеокамер, смонтированных по углам доски (рис. 28). Специально разработанное программное обеспечение позволяет осуществлять трекинг рук, обработку изображения и интерпретацию действий оператора. Для формирования изображения используется ЖК-проектор, устанавливаемый за диффузным экраном. Для трекинга применяются инфракрасная система, состоящая из источников подсвета, дающих пучки параллельно плоскости экрана, и камер, работающих в инфракрасном диапазоне. Камеры и подсветка находятся со стороны наблюдателя в отличие от структуры HolloWall. Собственно, это обычные ПЗС-камеры с ИК-фильтром, отсекающим спектр видимого света. Все четыре кадра изображения прилегающего к поверхности экрана пространства оцифровываются, предварительно фильтруются сигнальным процессором, а затем обработанные профили попадают в компьютер.

Технология масштабируемая, имеет очень высокое быстродействие и точность.

Программное обеспечение позволяет поддерживать ввод данных как с помощью пальцев, так и с помощью указки. Программа SMART Recorder обеспечивает распознавание рукописного текста, а также возможность делать записи поверх движущегося или неподвижного видеоизображения на экране. Первоначально система DViT была нацелена на трекинг одного объекта — указателя. Для того чтобы расширить функциональность до уровня Multi-touch, потребовалось только разработать программное обеспечение. И эта непростая задача была решена.

История компании SMART Technologies

Фирма SMART Technologies—пионер коммерческого применения интерактивных экранов и один из лидеров в производстве электронных классных досок, широко используемых в настоящее время как в школьных классах, так и для деловых семинаров и презентаций. Фирму основали в 1987 году Дэвид Мартин и Нэнси Нолтон. Компания начала свою деятельность в качестве дистрибьютора в Канаде американского проекционного оборудования. SMART Technologies продемонстрировала свою первую электронную доску в 1991-м. В первых электронных досках использовалась резистивная сенсорная технология single-touch на базе вмонтированной в доску решетки микропроволочек. При надавливании проволочки замыкались. Система сканирования определяла координаты точки касания. Это была первая интерактивная электронная классная доска, она обеспечивала управление с помощью прикосновений к экранным объектам в среде Windows. В 1992 году SMART образовала стратегический альянс с гигантом компьютерной индустрииIntel Corporation. Вложенные Intel инвестиции позволили SMART значительно ускорить разработку и внедрение на рынок своей технологии. В 2003 году фирмой была разработана архитектура DViT на базе машинного зрения. Выпускаются модели электронных досок, как передней, так и задней проекции. К 2007 году было продано в 100 стран мира около 800 000 электронных досок Smart Tech.

Как проверить мультитач на телефоне

На большинстве современных мобильных телефонов мультитач работает отлично. Даже на самых бюджетных телефонах данная функция работает безукоризненно и распознает все 10 касаний. Но, при желании вы можете проверить, как мультитач работает на вашем устройстве.

Для этого вам понадобится приложение для проверки мультитача, например, AnTuTu Benchmark. Запустите данное приложение на своем устройстве и перейдите в раздел «Тест функций – Тест мультитач».

Проверка Multi-touch на телефоне.

После этого коснитесь всеми пальцами к экрану телефона и отпустите. На экране появится количество зафиксированных касаний.

iOS and Android Behavior

Here are some examples of what two of the major browsers do with our physical actions, and how they react in turn.

iOS Using Safari Browser

The iOS default browser began it all. We may now see these gestures as perfectly banal and mundane yet some of them might be less recognized.

  • Swipe: Back/next page
  • Zoom: Zoom entire page.
  • Select: Engages a simple button toolbar with items such as copy and define, which is being enhanced with a share feature on iOS9.
  • Scroll down: Minimize the top and bottom bar to an almost fullscreen experience.
  • Прокрутить вверх: возвращает популярные элементы поиска и инструментов вверху и внизу браузера.

Android с помощью браузера Google Chrome

  • Выберите: основное отличие здесь заключается в визуальном. В отличие от кнопок в iOS, выбор в Chrome открывает панель инструментов с параметрами обрезки вверху.
  • Прокрутить вниз: сворачивает верхнюю панель почти до полноэкранного режима.
  • Прокрутить вверх: возвращает популярные элементы поиска и инструментов вверху и внизу браузера.

Мультиконтактная цифровая доска Hitachi America

Компания Hitachi America анонсировала выход на рынок своей новейшей серии интерактивных досок (interactive whiteboard) StarBoard FX Duo (рис. 29), обладающих мультиконтактной технологией распознавания прикосновений. В ней также используется проектор и камеры для трекинга положения рук и указателей. Эта система с передней проекцией. Основное отличие технологии Hitachi America от технологии SMART Technologies — используется система двойного трекинга. Первая система — трекинг рук и указателей двумя (а не четырьмя камерами, как у SMART Technologies) камерами с инфракрасной подсветкой. Камеры стоят слева и справа от доски. Вторая система трекинга — с использованием ультразвукового сканирования. Отсюда и наличие суффикса Duo (двойной) в названии продукта. Система обеспечивает не только распознавание жестов рук нескольких операторов, но и поддерживает работу с электронными ручками, разработанными компанией Hitachi America. Кроме того, электронные доски могут объединяться по сети в группы до 72 штук. При этом обеспечивается трансляция и обмен изображений между ними. Связь с хосткомпьютером — по Wi-Fi или USB.

Основные характеристики доски StarBoard FX Duo:

  • размер доски — 157,3 × 118 см;
  • вес (без кронштейнов) — 24 кг;
  • разрешение — 0,05 мм.

На рекламном флаере объект выглядит красиво и очень убедительно. На рис. 30 представлена электронная доска в действии.

На этой фотографии представлен реальный рабочий момент работы с электронной доской Star Duo. Фактически работа с экранной доской должна проводиться в кромешной темноте. К тому же учащиеся при работе с доской закрывают своим телом часть изображения на экране (неизбежное зло при использовании передней проекции). Требуется некоторая сноровка, чтобы рисовать на экране «из-за угла».

А в остальном все хорошо. На электронной доске можно открывать папки и передвигать объекты с места на место или просто — рисовать разные линии. В отличие от предыдущей серии электронных досок StarBoard FX, новинка обеспечивает распознавание и определение координат точек одновременного прикосновения пальцев нескольких рук или же других указателей (ручка, указка). Ранее это могла быть только специальная цифровая ручка. Доска позволяет менять масштаб изображения (его нужно просто «растянуть» руками) и выполнять много других операций, например — выходить в Интернет. Два человека могут одновременно взаимодействовать с объектами на новой доске (это пригодится преподавателю и студенту). Новая интерактивная доска имеет поле из 24 программируемых функциональных кнопок. В режиме удаленной конференции через Интернет StarBoard Duo может одновременно соединяться с 50 другими электронными досками StarBoard. Ориентировочная цена составляет $1600.

Слайд 8Методы интерфейсаНабор правил, заложенных разработчиком устройства, согласно которым совокупность действий пользователя

должна привести к необходимой реакции устройства и выполнения требуемой задачи (логический интерфейс). Правила эти должны быть достаточно ясны для понимания, естественны и легки для запоминания.Увеличение (при равной функциональности) средств ввода-вывода даёт упрощение построения методов управления и упрощение правил пользования, но приводит к сложности восприятия информации пользователем: интерфейс становится перегруженным. Наоборот, уменьшение средств отображения и контроля приводит к усложнению правил управления, так как каждый элемент несёт на себе слишком много функций. Потому проектировщики интерфейсов стараются принять компромиссное решение между этими двумя крайностями в каждом отдельном случае.

Оцените статью