Эволюция бесконтактных интерфейсов: новый подход к проектированию

Жестовый интерфейс

Жест и голосовое управление

NPointer помогает вам управлять компьютером с помощью движений рук в качестве входных команд. С помощью традиционной веб-камеры, указывающей на стол, куда вы можете поместить и переместить руку, вы можете контролировать движения указателя на экране компьютера.

Вы можете запустить приложение, запустив его запускаемый файл, Он должен вызывать интерфейс приложения, из которого вы можете настроить параметры приложения. Вы можете установить различные параметры, такие как скорость движения иглы высокопоставленных ускорение откалибровать движение иглы на экране компьютера. Кроме того, вы также можете установить время задержки меню (16) и максимальная скорость движения который управляет указателем, когда вы убираете указатель из поля зрения камеры.

Настройки NPointer

Обновление за март 2024 года:

Теперь вы можете предотвратить проблемы с ПК с помощью этого инструмента, например, защитить вас от потери файлов и вредоносных программ. Кроме того, это отличный способ оптимизировать ваш компьютер для достижения максимальной производительности. Программа с легкостью исправляет типичные ошибки, которые могут возникнуть в системах Windows — нет необходимости часами искать и устранять неполадки, если у вас под рукой есть идеальное решение:

  • Шаг 1: (Windows 10, 8, 7, XP, Vista — Microsoft Gold Certified).
  • Шаг 2: Нажмите «Начать сканирование”, Чтобы найти проблемы реестра Windows, которые могут вызывать проблемы с ПК.
  • Шаг 3: Нажмите «Починить все», Чтобы исправить все проблемы.

NPointer оснащен различными режимами управления иглой. Вы можете настроить параметры приложения для переключения между различными вариантами управления.

      • Управление камерой — Используйте встроенную или установленную веб-камеру для управления указателем.
        • Рука — Используйте свою руку для управления указателем. Полезно, если у вас установлена ​​веб-камера.
        • Головной / фронтальный контроль — Используйте свою голову / переднюю планку для управления указателем. Удобно при использовании встроенной камеры ноутбука.
      • Голосовая команда — Выберите меню указателя с помощью голосовых команд.

Разбивка меню действий

Если вы будете держать голову / руку неподвижно в течение определенного времени (время, определенное в меню времени ожидания), появится раскрывающееся меню, которое выглядит следующим образом и предлагает ряд функций, имитирующих традиционное использование мыши.

Как показано на рисунке выше, как только появится раскрывающееся меню, вы можете переместить руку / голову, чтобы воспроизвести движение на экране компьютера, и поместить указатель выбора действия на нужную функцию. Выбранная функция срабатывает, как только указатель мыши перемещается над этой функцией, и останавливается на мгновение.

Для прокрутки выберите действие на колесе прокрутки который активирует режим прокрутки и вызывает меню действий ниже.

Выбрав режим прокрутки, вы можете прокручивать страницы экрана компьютера рукой / головой. Если вы хотите отключить режим прокрутки, просто установите указатель выбора действия, чтобы отключить его и оставьте на некоторое время.

Голосовая команда

Если вы выбрали Голосовая команда как метод управления указателем по умолчанию, вы должны отрегулировать языковые настройки и записать голосовые команды для нескольких функций указателя.

Нажмите кнопку настройки языка в правом нижнем углу. Это должно открыть меню «Настройки голосовой команды», где вы можете сохранить голосовую команду для таких функций, как щелчок правой кнопкой мыши, щелчок левой кнопкой мыши и т. Д. Команды настраиваются так, что вы можете удалять и сохранять их снова.

Обертывание

NPointer это простое приложение, которое может быть очень полезным для людей с ограниченными возможностями. Если вы знаете механизм и его функции, им интересно пользоваться. Для большей точности качество веб-камеры должно быть достаточно при более высокой частоте кадров

Не менее важно, чтобы условия освещения верны, Когда вы используете руку для жестов, вы должны держать руку на устойчивой поверхности стола и направить веб-камеру прямо на нее

Вы можете скачать исполняемый файл с официального сайта. Дайте нам знать, если вы найдете это полезным или если у вас есть проблемы с его использованием.

Связанные видео

Сообщение Просмотров: 867

What is Human-Computer Interaction (HCI)?

HCI is the study of the interaction between humans and computers, particularly as it pertains to the design of technology. HCI overlaps user-centered design, UI, and UX to create intuitive products and technologies.

People who specialize in HCI think about how to design and implement computer systems that satisfy human users. Most research in this field aims to improve human–computer interaction by improving how an interface is used and understood by humans.

HCI helps to make interfaces that increase productivity, enhance user experience, and reduce risks in safety-critical systems. Poorly designed machines lead to many unexpected problems, sometimes just user frustration, but sometimes, chaotic disasters.

Common Types of HID Devices

The original goal of the HID standard specification was to enable simple installation and usage for a variety of computer input and output devices. As such, there are many different types of HID devices whose operation is vastly improved through the use of USB HID. Some of the most common types of HID devices include:

Keyboard — The character produced by pressing any key on the keyboard is determined by the keyboard driver software. Keyboards that use the USB HID standard will be hard-coded with an HID descriptor that maps individual key presses to the appropriate character.

Refreshable Braille Displays- Braille displays use a series of round-tipped pins that can be raised or lowered, enabling users with visual impairments to read the textual outputs of the host machine.

Mouse — The introduction of the HID standard allowed electronics companies to design mouses with more versatile functions than before.

Graphics Tablet- A graphics tablet is used by digital graphic artists to draw by hand directly into the digital medium. This function is supported by the HID standard and related capabilities.

In addition, gaming controllers, joysticks, touchscreen monitors, magnetic strip readers, fingerprint scanners, and sound output devices like headsets and speakers are all HID devices. Today, these devices can typically be hot-plugged to your PC and used immediately with minimal set-up because of the HID standard.

Работа схемы

Схема устройства представлена на следующем рисунке.

Как видите, схема нашего проекта достаточно простая – достаточно соединить два ультразвуковых датчика с платой Arduino. Ультразвуковые датчики работают от напряжения 5V, поэтому в нашей схеме их питание осуществляется непосредственно с платы Arduino. Сама плата Arduino запитывается по кабелю USB от компьютера – по этому же кабелю осуществляется и передача данных. Когда все соединения в схеме сделаны разместите получившуюся конструкцию на компьютере/ноутбуке как показано на рисунке ниже. Мы для крепления этих элементов использовали двухсторонний скотч, но вы можете сделать это так, как вам будет удобно. После этого можно приступать непосредственно к программированию.

HCI Design Rules and Best Practices

There are many best practices and rules that have been established by HCI researchers and designers. These rules include abstract design principles, to common-place standards, and design guidelines. Let’s examine the most important design rules for HCI.

Design for learnability and familiarity

Learnability and familiarity principles determine how easily a novice user can learn to interact with a system. To achieve this, a system should be predictable. Any user should be able to predict the results of future actions based on the knowledge of their interaction history.

Similarly, a user should be able to map experiences with other computing systems to a new system. Familiarity determines whether a user can initiate interaction. Metaphors (usually visual) are a common way that systems achieve this principle. For example, a trash bin icon should represent the action to delete items, as it is familiar and predictable.

Make elements legible and accessible

All characters and objects must be perceptible in order to be used effectively. Multiple modes of “legibility” should be used to represent information (visual, verbal, and haptic). Similarly, a system must equally useful to users with diverse abilities. For example, users with visual impairment should be provided with equivalent support systems.

Tolerance for error

Users will make errors, but they should not change the system state or impact an interaction disastrously. Warnings should be provided to prevent potential mistakes, and a system should not have a critical situation that can be reached easily by the user. A system must also offer assistance when potential errors arise.

Flexibility

Any design should provide multiple ways to perform a given task. This allows the user to interact with a device according to their their ability or preference. Users need options to choose methods that best fit their pace and experience. Systems that are flexible are more useful for a wide range of users.

Don’t reinvent the wheel

It’s important to innovate but not at the expense of learnability and accessibility. Users have developed old habits from other interfaces that will transfer to well-designed systems. A design that uses ready-made standards will be a more intuitive, useful product.

Презентация на тему: » Жестовый интерфейс ориентируясь на цветные узоры, камера теперь может оцифровывать любой жест руки, аппарат различает каждый палец и видит форму ладони.» — Транскрипт:

2

Жестовый интерфейс ориентируясь на цветные узоры, камера теперь может оцифровывать любой жест руки, аппарат различает каждый палец и видит форму ладони ориентируясь на цветные узоры, камера теперь может оцифровывать любой жест руки, аппарат различает каждый палец и видит форму ладони

3

Жестовый интерфейс

5

Электронная кожа датчики этой кожи могут почувствовать разницу давления в диапазоне от датчики этой кожи могут почувствовать разницу давления в диапазоне от 0 до 15 килопаскалей 0 до 15 килопаскалей

6

Дом напечатанный на принтере Создан самый большой в мире 3-D принтер, он сможет строить конструкции до 10 метров высотой Создан самый большой в мире 3-D принтер, он сможет строить конструкции до 10 метров высотой была сделана модель 3х3х3 метра для павильона Radiolaria, была сделана модель 3х3х3 метра для павильона Radiolaria, но этого достаточно, чтобы испытать процесс работы но этого достаточно, чтобы испытать процесс работы

7

Аэрозольная одежда Материал наносится в несколько слоёв пока вы не скажете «хватит», почувствовав, что вас устраивает толщина новой футболки

8

Аэрозольная одежда

9

Компьютер может водить

10

Операция внутри глаза магнитами С помощью этих катушек электромагнитов осуществляется управление роботами длиной в половину милиметра С помощью этих катушек электромагнитов осуществляется управление роботами длиной в половину милиметра

11

Операция внутри глаза магнитами

12

Искусственная поджелудочная железа

13

3D интерфейс для осязания 3D интерфейс, который позволяет не только видеть изображения на экране, но и осязать их, трогать и чувствовать фактуру, форму и размер предметов 3D интерфейс, который позволяет не только видеть изображения на экране, но и осязать их, трогать и чувствовать фактуру, форму и размер предметов

14

Электронный нос для создания универсального датчика ученые использовали специфические электронные свойства графена, покрытого молекулами ДНК для создания универсального датчика ученые использовали специфические электронные свойства графена, покрытого молекулами ДНК

15

Xio – игровой экзоскелет технология заимствована из медицины. Она используется для восстановления подвижности и чувтвительности конечностей технология заимствована из медицины. Она используется для восстановления подвижности и чувтвительности конечностей контроллер дает игроку возможность насладиться обратной реакцией, сопротивлением его движениям контроллер дает игроку возможность насладиться обратной реакцией, сопротивлением его движениям

16

Xio – игровой экзоскелет

17

Первый электрифицированный самолет совершил полет полностью электрифицированный самолет первый в мире 4-двигательный пилотажный самолет Cri-Cri

18

Муха разведчик Муха-робот с именем MAV имеет размах крыльев всего лишь в 3 см. Благодаря этому она может летать в небезопасных условиях, пещерах, в густой растительности, при химическом загрязнении

19

Конец Российское Трансгуманистическое Движение Спасибо за внимание внимание

Next steps for your learning

Congrats on making it to the end. You should now have a solid introduction to Human-Computer Interaction and how it can help you design better systems.

If you’re new to programming, start learning fundamentals with one of our courses:

  • Learn to Code: Python for Absolute Beginners
  • Learn to Code: C++ for Absolute Beginners
  • Learn to Code: C# for Absolute Beginners
  • Learn to Code: Java for Absolute Beginners
  • Learn to Code: JavaScript for Absolute Beginners
  • Learn to Code: Ruby for Absolute Beginners

If you already know a programming language, there is still a lot to learn. Your next topics to tackle are:

  • Usability Engineering Lifecycle Model
  • Shneiderman’s Eight Golden Design Rules
  • Understanding human memory
  • Evaluation techniques

To get started with these concepts and beyond, check out Educative’s course Introduction to Human-Computer Interaction.
You’ll take a deep dive into HCI and learn the rules and principles behind good design models. You will cover the design process in detail and learn how to evaluate different models. By the end, you’ll have a clear understanding of how to implement HCI in your designs.

Happy learning!

Continue reading about design and technology

  • System Design Primer: learn the basics of system design
  • Top 6 technology trends to look for in 2021
  • How to Design a Web Application: Software Architecture 101

Принцип работы проекта

Концепция нашего проекта достаточно проста. Мы будем размещать два ультразвуковых датчика сверху монитора компьютера, которые будут измерять с помощью Arduino расстояние между нашими руками и монитором компьютера. А затем на основании этого измеренного расстояния мы будем выполнять определенные действия.

Для выполнения этих действия на компьютере мы будем использовать библиотеку Python pyautogui. Команды от платы Arduino в компьютер будут передаваться через последовательный порт (USB). Эти данные будут считываться программой на Python, которая в это время должна быть запущена на компьютере.

Understanding DMI and DASH

At the DMTF, the initial DMI standard was defined in 1998, at which time it earned the description of the first desktop management standard from the DMTF. As a standalone standard, the DMI persisted until March 31, 2005, when it reached its end-of-life status. Since then, DMI has been supplanted by a large collection of DMTF standards known collectively as Desktop and Mobile Architecture for System Hardware, or DASH.

Is DMI still used?

DMI is not still in use. DASH has replaced DMI completely and falls under the working group at DMTF named the System Management Forum (SMF).

Components and specifications of DASH

The baseline DSP0227 standard goes back to 2011 and is entitled WS-Management CIM Binding Specification. The common information model (CIM) is a key aspect of the DMTF approach to management. It defines an open, vendor-neutral structure for CIM to store and access system and network management information.

The Web Services for Management (WS-Management) Specification applies to how a web-based interface delivers secure and comprehensive access to a management user interface. Thus, DSP0227 describes how WS-Management provides secure, consistent information to manage desktop and mobile hardware devices under the DASH denomination. A second key specification, DSP0232, covers DASH Implementation requirements and is dated January 2022.

How Does USB Human Interface Device (HID) Work?

The HID protocol defines two separate entities that are involved in data transfer: the host and the device. By convention, the device is the object that is in direct interface with a human operator, such as a computer mouse or a keyboard. The role of the host, then, is to receive inputs from the device and transmit outputs to the device. A human operator will be responsible for triggering device inputs and receiving device outputs. The most generic host device is a personal computer, but mobile phones, tablets, and other systems may also act as the host under the USB HID standard.

The USB HID protocol allows a human interface device to define its data packets in the form of an HID descriptor, which is then transmitted to the host. A HID descriptor is hard-coded into the device and provides the host with information about the packets that the device will send, including how many packets are supported, what the size will be, and what information will be contained in each bit or byte within packets. The host machine then parses the HID descriptor, enabling it to receive and accurately interpret packets from the device in a way that reflects the desired user input.

The Human Interface Device (HID) standard allows users to enjoy plug-and-play functionality from almost any I/O device, starting with the basics: a keyboard and a mouse. Image by Ilya Pavlov via Unsplash

What is a Human Interface Device (HID)?

A human interface device can be defined as a type of computer device that ordinarily takes input from humans and gives output to humans. While the original plan for the HID specification was based on the idea of a standard for human input devices, the acronym itself was changed to human interface device as it became clear that the standard would support bi-directional communication, meaning both inputs and outputs.

Prior to the creation of the HID standard, various types of input devices were required to conform to highly specific protocols that varied by the type of device. The communication protocol for each device supported only a relatively narrow set of functions. For example, the standard protocol for a mouse supported X- and Y-axis movement and input from two buttons. This left hardware developers rather restricted in terms of what kinds of peripheral I/O device designs could be supported by computers. Manufacturers either had to overload an existing protocol with excess data, write their own customized device drivers, or conform to the existing protocol (which could stifle innovation).

The impact of the HID standard was that it removed many of the design limitations that were faced by peripherals manufacturers and enabled plug-and-play for most devices without the need to program a unique or customized driver for each new device.

DASH profiles

The 39 DMTF profiles defined for DASH provide all the required classes, instances, properties and methods to manage and control desktop and mobile operating systems. DMTF’s 2022 DASH implementation ‘Requirements Specification’ explains how such profiles work in a DASH-compliant management environment. The DASH initiative also defines compliance testing requirements so that developers can ensure their management works properly. With this initiative in place, organizations can check to ensure that systems behave as they should.

DASH also offers a range of advanced capabilities that provide comprehensive end-to-end management. These include the following:

  • Power control: access to information about system power and sleep states and the ability to interrogate and manage power plans.
  • Boot control: the ability to remotely interrogate and restart desktop and mobile systems, including tools to manage BIOS and UEFI, firmware and set-up configuration activities that precede operating system startup.
  • Detailed hardware information: including chassis and component model and serial number data, CPU, memory, fan, power supply and complete sensor suites.

All these advanced capabilities come with defined DMTF profiles. The SMF working group constantly maintains these profiles. In addition, DASH also supports a set of standard event message content in the DMTF Message Registry Schema — part of the CIM. This permits broader interoperability among different implementations of management instrumentation and the software that subscribes to and receives event-related messages and data.

Conclusion

Embedded systems are frequently deployed in contexts where humans do not interface with them on a regular basis. In some cases, they may be expected to operate for years or decades at a time with minimal human interference. Still, there are some cases where an embedded system may require human inputs and may be expected to communicate outputs to humans through a human interface device. In these cases, implementation of HID over USB or HID over I2C ensures rapid installation and seamless communication between the host machine and human interface devices.

For embedded engineers building HID products, Total Phase creates innovative testing and debugging tools that streamline diagnostic processes, saving you time and money.

What are SMBus and HID Over I2C?

I2C and SMBus are two-wire serial communication protocols that are compatible with each other, especially at the 100kHz data transfer speed for which both are suited. While the HID protocol was originally targeted for devices that use USB or Bluetooth connectivity, it can also be implemented using other protocols like I2C and SMBus.

When Windows 8 was released, Microsoft wrote a specialized HID miniport driver that enabled communication between I/O devices and Systems-on-Chip (SoC) over an I2C bus. HID over I2C demonstrated an 87-99% reduction in power consumption when compared to HID over USB, making it useful for host machines with a limited power supply, such as mobile phones or tablets.

Программирование Python

Программа на Python для этого проекта также достаточно проста. Нам всего лишь необходимо установить последовательную связь с платой Arduino и затем выполнять несколько простых функций клавиатуры. Но первым шагом на пути к этому должна стать установка модуля pyautogui для Python. Убедитесь в том, что вы его установили, иначе программа работать не будет.

Выполните следующую последовательность шагов чтобы установить pyautogui для windows. Если вы используете другие операционные системы, то шаги будут немного другими. Перед выполнением этих шагов убедитесь в том, что ваш компьютер имеет соединение с сетью интернет.

Шаг 1. Откройте окно ввода команд в Windows (режим командной строки) и смените в нем каталог на тот, куда установлен python. По умолчанию это должна быть следующая команда:

Шаг 2. Внутри каталога с python выполните команду python –m pip install –upgrade pip чтобы произвести апгрейд вашего pip. Pip представляет собой инструмент в языке python, который позволяет нам легко устанавливать модули для  python. Когда апгрейд этого модуля будет произведен (как показано на следующем рисунке) можно переходить к следующему шагу.

Шаг 3. Используйте команду  “python –m pip install pyautogui” чтобы установить модуль pyautogui. Когда процесс будет завершен вы должны увидеть примерно следующую картину:

Теперь, когда мы установили модули pyautogui и pyserial (их установка рассмотрена в предыдущей статье на эту тематику), мы можем приступать к написанию программы на python. Полный код этой программы приведен в конце статьи, здесь же мы рассмотрим его наиболее важные фрагменты.

Сначала подключим все три необходимых нам модуля (pyautogui, serial python и time) в программу.

Python

import serial #используется для последовательной связи
import time #используется для организации задержек в программе
import pyautogui

1
2
3

importserial#используется для последовательной связи

importtime#используется для организации задержек в программе

importpyautogui

Далее нам необходимо установить соединение с Arduino через последовательный (COM) порт. В нашем случае Arduino подсоединена к COM 18. Используйте диспетчер устройств Windows чтобы определить к какому COM порту подсоединена Arduino и на основании этого скорректируйте следующую строку.

Python

ArduinoSerial = serial.Serial(‘com18’,9600) #создаем объект порта последовательной связи с именем ArduinoSerial
time.sleep(2) #ждем 2 секунды чтобы установилась последовательная связь

1
2

ArduinoSerial=serial.Serial(‘com18’,9600)#создаем объект порта последовательной связи с именем ArduinoSerial

time.sleep(2)#ждем 2 секунды чтобы установилась последовательная связь

Далее внутри бесконечного цикла while мы будем часто прослушивать COM порт, принимать поступающие по нему слова, сравнивать их с заранее определенными словами и на основании результатов сравнения выполнять соответствующие нажатия на клавиатуре.

Python

while 1:
incoming = str (ArduinoSerial.readline()) #считываем данные с последовательного порта связи и печатаем их в виде строки
print incoming

if ‘Play/Pause’ in incoming:
pyautogui.typewrite(, 0.2)

if ‘Rewind’ in incoming:
pyautogui.hotkey(‘ctrl’, ‘left’)

if ‘Forward’ in incoming:
pyautogui.hotkey(‘ctrl’, ‘right’)

if ‘Vup’ in incoming:
pyautogui.hotkey(‘ctrl’, ‘down’)

if ‘Vdown’ in incoming:
pyautogui.hotkey(‘ctrl’, ‘up’)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

while1

incoming=str(ArduinoSerial.readline())#считываем данные с последовательного порта связи и печатаем их в виде строки

printincoming

if’Play/Pause’inincoming

pyautogui.typewrite(‘space’,0.2)

if’Rewind’inincoming

pyautogui.hotkey(‘ctrl’,’left’)

if’Forward’inincoming

pyautogui.hotkey(‘ctrl’,’right’)

if’Vup’inincoming

pyautogui.hotkey(‘ctrl’,’down’)

if’Vdown’inincoming

pyautogui.hotkey(‘ctrl’,’up’)

Как вы можете видеть из представленного фрагмента кода, чтобы нажать нужную клавишу мы используем, к примеру, команду вида “pyautogui.typewrite(, 0.2)”, которая нажимает клавишу пробела на 0.2 секунды. Если вам нужно нажать сочетание горячих клавиш, например, ctrl+S, то в этом случае вам нужно использовать команду “pyautogui.hotkey(‘ctrl’, ‘s’)”.

Мы использовали приведенные сочетания клавиш поскольку они используются в плеере VLC. Аналогичный подход вы можете использовать для управления любой другой программой на вашем компьютере, в которой предусмотрено управление с помощью горячих клавиш.

Оцените статью