3-D Визуализация

Сегодня, инженеры, ученые и художники обычно полагаются на физические модели и прототипы 3D-часто, физический акт прикосновения, вращение и аннотирования этих моделей является то, что рождает новые идеи. Представьте себе, если эти визуальные, физические и пространственные деятельность человека может иметь место в виртуальном пространстве визуализации данных, где мощные вычислительные методы могут сочетаться с естественными человеческими взаимодействиями и визуальной коммуникации.

Ключ к включении этой захватывающее будущее для визуализации заключается в создании средства графической визуализации, мы строим естественно вписываются рабочие процессы ученых, инженеров и других пользователей. Против течения пейзаж вычисления, мы видим логический путь для достижения этого прогресса с помощью новых исследований в области естественных пользовательских интерфейсов для визуализации научных-исследований, которые конкретно рассматриваются задачи внедрения новых, природные средства ввода и отображения в процессе визуализации.

Термин естественный пользовательский интерфейс используется в различных контекстах, 1 часто ссылаясь на взрыв мультитач интерфейсов сделал популярным последние телефоны, планшеты и наземным вычислительным. Общего, и упрощенно, предполагается, что только с помощью сенсорного интерфейса производит «естественное взаимодействие". Мы рассматриваем естественный пользовательский интерфейс, однако, как хорошо продуманные человека с компьютером интерфейсы, позволяющие жидкости, часто немодальных, взаимодействие с компьютерами, интерпретируя прямое физическое или пространственное входа, потенциально от нескольких пользователей. Эта концепция контрастирует с традиционными PC-интерфейсы, которые полагаются на мышь и клавиатуру для ввода, которые являются не только косвенные формы ввода, но также сосредоточить внимание на одного человека взаимодействуют. Создание природного интерфейсов требует решения фундаментальных проблем исследования, чтобы позволить ученым более эффективно взаимодействовать с данными.

Здесь, мы ориентируемся именно на визуализацию с участием наборов данных, которые по своей природе двух-или трехмерной и их специальными ограничениями, в отличие от работы с более абстрактными данными области, в которой усилия по привлечению естественного взаимодействия также недавно набирает обороты.

Природные интерфейсы важны для научных приложений визуализации, так как физические, пространственные стиль входной они позволяют часто может привести к интерфейсу с низким когнитивным накладные расходы. Этот результат позволяет пользователям уделять больше внимания визуальные и их собственные гипотезы, как они работают, а также предлагает новые возможности для изучения сложных данных с помощью входов.

Наша главная цель заключается в выявлении конкретных программе исследований с целью продвижения природных пользовательских интерфейсов для научной визуализации, одной из самых интересных областей для исследования в течение следующих 20 лет.

Современные технологии 3-D Визуализации

Несколько выдающихся примеров природных пользовательских интерфейсов в сочетании с научной визуализации приходят из ранних работ в Университете Северной Каролины в Чапел-Хилл, что комбинированные интерактивные дисплеи и экспериментальных интерфейсов с захватывающими научных приложений. Эта работа в конечном итоге привело к новым инструментам, таким как наноманипулятор, которые значительно влияние как исследования и визуализации больших научного сообщества. Показать средах, таких как пещеры и Отзывчивый Workbench, позволили разработать новые методы для стереоскопического представления данных, а также новые парадигмы взаимодействия. Совсем недавно ученые и художники использовали природные эскиз на основе входных данных для создания виртуальной реальности визуализации прототипов, и жестов и сенсорного интерфейса позволяют им взаимодействовать с объемными научными данными.

Главный из последних инноваций в интерактивных технологиях, применяемых для визуализации задач является широкое внедрение сенсорного ввода, способствует более прямое взаимодействие, чем это возможно с клавиатурой и мышью. Хотя прямого сенсорного интерфейса были разработаны еще в 1980-х годах, например, работают, в частности, Билл Бакстон они только недавно стали доступны для широкой аудитории, чему способствует смартфоны и мультитач других сенсорных устройств. В сочетании с соответствующими дисплеями, этот вход стиль позволяет пользователю взаимодействовать непосредственно с объектами, изображенных на дисплее.

Другие недавние достижения являются доступными 3D трекеры движения, такие, как Kinect, Leap, и датчики. Эти технологии могут потенциально способствовать еще один богатый размерностью входного визуализации в среде один несколько отличается от текущих парадигм-потому что они не полагаются на специальные опоры, такие как портативные устройства или отражающие маркеры.

Эти достижения входным технологии были сопровождаться аналогичными захватывающие достижения в области аппаратных средств отображения. Например, стереоскопические дисплеи в настоящее время легко доступны для общественности на 3D-телевизоров. Недавно мультитач (прикосновение и перо) вход был связан с дисплеями, что входит контактный датчик встроены в дисплей аппаратном уровне, обеспечивая с точностью до пикселя (или лучше) чувствительный вход. Дисплеи с регулируемым тактильной обратной связи также изучаются.

Основным последствием этих событий является то, что ученые могут использовать интерактивные технологии визуализации в ранее способами невозможно. Ученые сегодня есть потенциал, чтобы совместно использовать доступную доску размером интерактивные дисплеи с коллегами, принять средства визуализации с ними на их мобильные интерактивные средства, а также изучить визуализаций в разных средах, от традиционных пещеры, как установка на сенсорный дисплей стены.

Шесть задач 3-D Визуализации

Мы организовали нашу программу исследований, как шесть проблемы для развивающихся природных интерфейсов для научной визуализации. В частности, мы должны открыть новые сопоставления основных визуальное исследование данных задач; создания прочного теории взаимодействия и обеспечить инструментариев для поддержки крупных научных областей применения, поддержка совместной, виртуальной реальности и высокопроизводительных вычислений (HPC), создавать новые приложения визуализации различных дисциплинах; разработка методологии оценки комплексного освоения данных задач, а также обучить пользователей о естественных интерфейсов визуализации.

Задача 1: новые сопоставления основных задач визуального исследования данных.

Для достижения наиболее высокого уровня визуализации данных и задач исследования, интерактивная система должна поддерживать диапазон низкого уровня взаимодействия:

  • Изменить просмотров / навигации 3D-пространстве.
  • Изменить стили визуализации / типов.
  • Выбрать объекты / местоположения в 3D.
  • Выберите подпространств, объектов или групп объектов и визуализации элементов, таких как поток / путь линиям.
  • Указать 0D, 1D, 2D, и 3D местах / диапазоны в 3D пространстве для таких операций, как заделки семян частицы.
  • Установить / манипулировать вырезать самолетов и других виджетов.
  • План пути / мероприятий.
  • Выбора / регулировки четко определенных взглядов.
  • Генерировать read-outs/measurements значения данных.
  • Указать / манипулировать данными разведки многих параметров, таких как цветовые шкалы диапазонов значений, и так далее.

Стандарты существуют в настольных вычислительных сред для многих из этих низкоуровневых задач, но наша предусмотрено интерактивных платформ требуют новых отображений. Использование сенсорного ввода, например, требует работы не только с отображением 2D в 3D входов выходов, но и с вопросами модальности и точности признания. В отличие от мыши и клавиатуры-установка, сенсорный ввод не хватает кнопок или клавиш, которые могут меняться от одного типа входного модальности в другую, например, от вращения масштабирования для панорамирования при навигации 3D пространстве.

Формы взаимодействия могли бы вместо этого использовать для определения условий взаимодействия. Однако найти соответствующие жесты отображения взаимодействия не так прост, как может показаться. Хотя одним пальцем кастрюлю и двумя пальцами вращать и переводить жесты точно установлены и приняты, не ясно, как найти соответствующие сопоставления для других фундаментальных задач.

Кроме того, научная визуализация часто требует не только включения модальности взаимодействия, но и, в то же время, с указанием параметров с помощью прямого управления. Одно из возможных решений состоит в использовании интерактивных виджетов в сочетании с (потенциально бимануальное) жестикуляционный взаимодействия. Например, жестов взаимодействие может генерировать разные результаты в зависимости от того, какая часть взаимодействия виджет прикосновения или, в каком направлении начального движения не выполняется. По существу, это означает, что пользователи указывают взаимодействия с пружинным режимов: режимы, которые поддерживаются только до тех пор, пока элемент взаимодействия прикосновении. Недавние примеры взаимодействия фундаментальной задачи включают зрения навигации, путь планирования, и отбора.

Когда осязание и другие природные интерфейсы для научной визуализации корректно работают, их возможности могут быть впечатляющими. Использование сенсорных дисплеев для выбора данных создает ожидание, что выбор должен быть простым, как только схватив объектов в реальном мире. Это, конечно, нет технической возможности при работе с 2D-поверхностей ощупь, но это возможно для пользователей легко настраивать 3D регионе с помощью 2D поверхности. Например, делает это путем решения проблемы через эвристики и предоставляя пользователям впечатление выбрав именно то, что они предназначены для выбора. Аналогично, с интерактивным инструментом, пользователям перемещать свои пальцы на касаться поверхности быстро определить широкий диапазон форм связан с 3D самолеты резки и динамически регулировать сложные объемы отбора пучков жидкость потока данных. Результатом является не только очень полезна для выполнения объемных выборы, а потому, что он связан так тесно с 3D визуализацией, но и обеспечивает новый метод в режиме реального времени данные разведки, что ученые могут использовать немедленно.

Дополнительной проблемой многих развивающихся природных условий интерфейса является то, что они часто неточным-пальцев имеют большие площади поверхности ("толстый палец" проблема), конечно, больше, чем один пиксель. Этот факт особенно неприятной для визуализации приложений, как их интерфейс управления часто требует высокой точности. Одна возможность преодолеть точность проблема состоит в разработке средства для ограничения входного путем ограничения степени свободы, либо с помощью специальных дисплей усиления соотношениях. Эта проблема точной, контролируемой, ограниченного взаимодействия во многом остается нерешенной для научных приложений визуализации и является одним из важнейших направлений деятельности в рамках данной работы задачи.

Другая область исследований требуют использует сенсорный ввод в стереоскопическом научной среде визуализации. Поскольку база данных может быть воспринято в 3D пространстве, но вход только на 2D поверхности ощупь, это может привести к проблеме "прощупать через" объекты или натыкаясь на почти невидимой сенсорной поверхностью. Кроме того, при фиксации на объекте в переднюю или заднюю сенсорную поверхность, пользователь воспринимает трогательное пальцем появляться дважды параллакса проблемы. Потенциальное решение заключается в использовании двух поверхностей, для сенсорного ввода и один для данных стереоскопический дисплей, но дополнительные и более портативные решения, такие как творческие преднамеренного использования восприятия иллюзии или деформируемых сенсорным способные устройств ввода, также может быть возможным.

Задача 2: наборы инструмента и взаимодействия теории.

Не только выявили соответствующие сопоставления для фундаментальных низкого уровня взаимодействия необходимые для приложений визуализации, еще одной серьезной проблемой является интеграция этих методов взаимодействия, также естественно функционировать в сочетании с комплексом интерактивных приложений визуализации. Это означает, конечно, что выбранный взаимодействие отображения для отдельных низкоуровневых методов не должны конфликтовать друг с другом. Кроме того, может быть необходимо использовать тот же метод, взаимодействие взаимодействовать с различными типами данных, например, манипулирования и 3D изоповерхность и сырых данных 3D помутнения.

Передовые исследования в этой области предприняло первые шаги к решению проблемы, в частности, в контексте потока жидкости, медицинских изображений, и визуализации геофизических данных. Многие подходы используют бимануальные обеспечения для указания типа взаимодействия. Здесь недоминирующего руку или палец выбирает режим на основе расположения внутри виджета, освобождая доминирующей рукой или другим пальцем для выполнения фактической (точное) взаимодействие / параметр управления.

Важный вопрос исследования, которые должны быть рассмотрены, есть ли или может быть теорией естественного взаимодействия для науки в целом, что молекулярный биолог / химик может использовать только как астроном, исследователь динамики жидкости, или поведенческие биолога было. С этим связан вопрос, в какой степени эта теория или теории могут быть переработаны в инструментарий-набор фундаментальных инструментов взаимодействия применимы к широкому различных научных областях.

Ответы на эти сложные вопросы необходимо для долговечности и рост природных интерфейсов для научной визуализации. Вполне вероятно, что некоторых научных областях может потребоваться конкретные, очень настроены интерфейсы. Если эти приложения определенных интерфейсов привести к существенных различий между доменами, примиряя их в наборы инструмента взаимодействия мы создаем или расширение числа инструментария мы-поддержка будет иметь решающее значение. Даже если учесть, одной научной области, остается вопрос, можно ли разработать стандарт теории наилучшего использования природных интерфейсов в этой области, наряду с соответствующим инструментарием для его поддержки. Ответы на эти вопросы требуют гибкости, развивается наше представление о наилучшей практике для естественных интерфейсов, новые технические возможности становятся доступными, которые могут вновь кардинально изменить нашу концепцию "естественного взаимодействия".

Задача 3: сотрудничество, виртуальной реальности, и HPC.

Надвигающейся серьезной проблемой для визуализации будет тиражирование новых методов для интеграции с основными системами визуализации. Центре внимания будет развитие новых методов использования природных пользовательских интерфейсов, в сочетании с визуализацией для более эффективной работы с HPC (суперкомпьютеров) и с массивными хранилищами данных. В самом деле, используя высокопроизводительных вычислений и работы с большими объемами данных, как правило, одной из основных проблем для визуализации исследований; здесь, мы еще раз подчеркнуть свое значение в связи с особенно важную роль, которую природный интерфейсы могут сыграть в решении этой проблемы.

Рассмотрим, например, будущая роль визуализации в основе моделирования техники. Как HPC методы продолжать двигаться вперед с новыми возможностями для более точного и быстрого моделирования инженерных задач, виртуальное прототипирование будет становиться все более важным по сравнению с традиционными физическими основе настольного дизайна. Инженеры необходимо интерпретировать большие объемы многомерных пространственных и изменяющихся во времени данных и эффективно контролировать процессы, которые генерируют это данные, такие как нереста нового моделирования работает и параметра-космических исследований, установление граничных условий, связывая модельных данных с других хранилищ данных материала и многое другое.

Если естественный пользовательский интерфейс может быть расширен до такой степени, что они могут взаимодействовать с этими высокого класса проблемы визуализации, основанный на моделировании технических усовершенствований, вероятно, будет глубоким. В простом примере, инженер может использовать прямую естественный пользовательский интерфейс для управления форму 3D механизма или, для медицинского устройства, его положение и ориентацию внутри человека анатомические модели. Это естественное взаимодействие может автоматически породит серию высокого класса HPC расчеты, результаты которых будут кормить обратно пользователю через визуализацию режиме реального времени, многомерный, основанный на моделировании дизайна. Важно отметить, что на протяжении всего этого мощного процесса, внимание инженеров было бы проблемы проектирования и прямые, практические манипуляции визуализации проблемы, а не на установку моделирования или сценариев деталей.

В этих расширенных интерактивных рабочих процессов и процессов появляются, среда, в которой мы работаем с данными также необходимо масштабировать. В то время как большой ток естественный пользовательский интерфейс исследование фокусируется на мобильных и настольных устройств масштабе поверхность, наши самые сложные визуализации данных, вероятно, потребует природных пользовательских интерфейсов, которые работают в масштабе высокой разрешающей способности дисплеев стены, пещеры, и захватывающий таблиц.

Необходимы исследования в области разработки новых методов интерфейса, а также инновационные комбинации новых или существующих средах дисплее. Эти достижения помогут пользователям получить преимущества работы с интерактивными системами погружения при сохранении способности управлять, организовывать, комментировать, и вообще работать с данными способами, которые традиционно были успешными в настольных системах.

Существенным, окончательный фокус в расширении задачей является поддержка сотрудничества. Полезные совместные визуализации может принимать различные формы, например, размещенного по сравнению с распределенными, по сравнению с синхронным асинхронных и каждый из них является важным исследовать в более широком, совместные исследования контекста визуализации. В виртуальной реальности, мы часто наблюдаем размещенного синхронных сотрудничестве, например нам показывают, что системы не были построены главным образом для поддержки сотрудничества, но исследователи часто ссылаются на сотрудничество в качестве ключевых преимуществ их использования.

Будущая повестка дня исследований в природных пользовательских интерфейсов должны конкретно поддержки сотрудничества и оценки в среде визуализации. Например, мы считаем, природных пользовательских интерфейсов может облегчить переход между индивидуальной и командной работы, которая может сильно улучшить визуализацию данных эффективности.

Задача 4: новые приложения в различных дисциплинах

Следующей важной задачей исследования является демонстрация и понять, как естественный пользовательский интерфейс может сделать даже самые сложные системы визуализации более широко доступными. Ученые и инженеры должны иметь возможность использовать самые мощные управляемые данными компьютерной графики методики без необходимости программу или сценарий новые рабочие процессы или перемещаться сложных иерархических меню и визуальных языков программирования, используемый во многих рабочий стол на сегодняшний день средств визуализации.

На практике, текущие интерфейсы часто создают препятствия на пути их использования; мы видим, вместо этого, что передовые научно-исследовательские объединения природных пользовательских интерфейсов с визуализацией можно включить новые, бесшовное взаимодействие стилей для работы с данными, подобно тому, что теперь можно с портативных устройств и сенсорного интерфейса в ненаучных приложений. Это, безусловно, усилить воздействие визуализации исследований во многих областях науки и инженерных дисциплин, что делает возможным много новых приложений благодаря более широкому использованию инструментов. Возможно, еще более захватывающим, чем усиление влияния визуализации в областях, которые уже знакомы с его преимуществ является возможность открыть совершенно новые области применения. Рисунок 4 демонстрирует два недавних примера.

Благодаря природной пользовательских интерфейсов они используют, обе эти системы позволили художникам и дизайнерам работать творчески по научным проблемам визуализации с помощью компьютерной графики текущих технологий, без знания программирования. Дальнейшие исследования в этой области могут заниматься научной дополнительных нетрадиционных пользователей визуализации и практиков.

Как исследователи развивать, расширять и совершенствовать новые естественные пользовательские интерфейсы и приложения, тесной координации этих усилий с исследованием новых подходов к оценке научной визуализации будет иметь важное значение. Производительности низкого уровня мер обычно используется в взаимодействие человека с компьютером сообщества часто достаточно удаленных от реалистичных научных задач визуализации, что их полезность ограничена. В сочетании визуальные и интерфейсы, которые в результате этого исследования, однако, настолько отличаются от какого домена эксперты видели до сих пор, что это может быть трудным для выполнения объективной, экспертом на основе оценки социологического исследования. Разработка и распространение новых методов, руководящих принципов, и истории успеха для конструктивного оценки будет иметь важное значение.

Природные интерфейсы могут оказать существенное влияние на образование в научном сообществе визуализации и за его пределами. Мы сосредоточимся на двух дополнительных задач в рамках этой задачи:

  • Информирование пользователей визуализации и практиков о естественных пользовательских интерфейсов.
  • Использование убедительных природных интерфейсов для визуализации в качестве средств обучения для использования в науке и других областях.

Чтобы эффективно работать с научной визуализации, пользователи должны понимать отображение данных в визуальной форме. Это умение, которое должно быть преподавание и обучение. Наше сообщество должно приложить значительные усилия, чтобы научить этого типа визуальной грамотности способность читать, создавать и использовать визуального представления информации. Точно так же мы должны учить пользователей и специалистов-практиков о том, как наиболее эффективно работать с научной визуализации, которые позволяют новые, интерактивные процессы и переживания. Мантра ученый Бен Шнейдерман, в "первый обзор, масштабирования и фильтр, затем детали по требованию", является полезным ориентиром, потому что оно подчеркивает процесс визуализации, которое развивается во времени и обязательно включает в себя взаимодействие с пользователем.