Визуальная аналитика и обратная связь. Визуализация больших данных. Визуализация и построение выводов
Данные — новая мировая валюта, а интернет — обменный пункт. В информационных потоках потеряться просто. Как представить данные, чтобы привлечь внимание? Пользователь разберется с таблицей в десять строчек и три столбца. А если это тысячи, сотни тысяч строк?
Акцентируйте ключевые моменты и закономерности, которые не обнаружить в сухих цифрах, с помощью инфографики, интерактивных виджетов на сайте и дашбордов. В этом помогут инструменты визуализации.
Смотрите и используйте 21 инструмент визуализации в этой статье.
Сервисы для создания диаграмм и графиков
Infogr.am
Сервис для создания интерактивной, внедряемой визуализации. Более 30 типов диаграмм и шесть тем оформления.
Данные заносите в редакторе, загружаете в табличном или текстовом формате (например, csv) или импортируете из облака. Далее выбираете, что хотите получить - диаграмму, график, карту, - и конечный формат.
Можете внедрить интерактивную визуализацию на сайт с помощью айфрейма, а также скачать свои диаграммы в pdf или gif и вставить в презентацию.
Стартовый тариф - бесплатный. Ограничения в размере библиотеки, числе шаблонов, возможности скачать диаграммы в виде изображений. Но этого тарифа с лихвой хватит для оформления одного небольшого сайта или онлайн-презентации. Платные тарифы начинаются от $19 в месяц.
Creately
Инструмент для совместной работы, который позволяет создавать интерактивные схемы, диаграммы Ганта и простую инфографику. В арсенале — более 50 типов диаграмм с тысячами образцов и доступных библиотек форм.
Интерфейс напоминает MicrosoftVisio, и неудивительно: Creately выполняет аналогичные задачи.
Результаты можно импортировать на сайты, мобильные приложения, а также сохранять в формате PDF и SVG.
Главный минус: все версии платные. Онлайн-сервис - от $5 в месяц. Десктоп-версия обойдется в $75.
Fusiontables
Инструмент Google для создания подробных диаграмм, графиков и карт.
Помогает собирать и визуализировать данные, отобразить их на сайте.
Вы импортируете данные из файла на компьютере (практически любой табличный формат), таблиц Google Docs или создаете новую таблицу. Можно использовать поиск информации из внешних источников.
Минусы: сложный интерфейс, нет дизайнерских изысков.
Плюсы: совместная работа, так как все данные на Google Диске.
Инструмент использует The Guardian, и это уже неплохая рекомендация.
VisualizeFree
Визуализацию можно экспортировать в формате Excel, PowerPoint и PDF.
Сервис бесплатный. Интересная особенность: хотя при разработке вы можете использовать Flash, результат можно сохранять в формате HTML5.
Tableaupublic
Бесплатная интерактивная система визуализации данных.
Импортируете данные (поддерживаются практически все привычные форматы и многие сервисы), и получаете визуализацию для размещения на сайте или в соцсетях.
Для хранения проектов сервис дает 10 GB на своих серверах.
Javascript-библиотеки
Dygraphs
Библиотека с открытым кодом для создания диаграмм. Помогает изучать, обрабатывать и интерпретировать большие наборы данных. Гибкие настройки.
Минус: это инструмент скорее разработчика, чем маркетолога. Его функции - только создание графиков и диаграмм. Для работы требует навык работы с javascript и мануал. Однако ничего сложного даже для новичка тут нет.
D3.JS
Библиотека работает с документами на основе данных, с использованием html, svg и css. Импортирует данные из файлов csv.
Подойдет и для простых бизнес-визуализаций, но ее главное предназначение - научная информация.
Leaflet
Бесплатная javascript-библиотека для создания мобильных интерактивных карт. Используйте ее, если не хотите внедрять на сайт или в мобильное приложение Google Maps и Яндекс-карты.
Главные преимущества: экстремально малый вес библиотеки, плюс работает и без интернет-подключения.
Highcharts
Огромное количество опций и типов диаграмм. Выходной формат — SVG или VML для Internet Explorer старых версий.
Поддерживает анимацию и потоки данных в реальном времени.
Бесплатно для некоммерческих проектов.
Chart.js
Библиотека с открытым кодом. 6 типов диаграмм, что с лихвой покроет потребности небольшого проекта, но недостаточно для профессионала в статистике.
Поддерживает HTML5 Canvas и создает адаптивные анимированные диаграммы и графики в стиле флэт-дизайна.
jqPlot
Плагин для построения простых графиков, линейных и круговых диаграмм.
Легко встраивается на сайт. Простая настройка, привлекательный дизайн диаграмм. Поддерживает анимацию, нет интерактивности.
Хорошее бесплатное решение для простых задач.
ZingChart
Использует HTML5 Canvas, при этом поддерживает Flash. В вашем распоряжении — сотня типов диаграмм для визуализации данных.
Бесплатной версии достаточно для решения большинства задач. Визуализации подписываются «PoweredbyZingChart». Самый популярный, по мнению разработчиков, тариф «SaaS» обойдется в $1999 в год.
JavaScriptInfoVisToolkit
Модульная структура. Адаптация для мобильных устройств. Пользователь загружает лишь то, что необходимо в конкретном случае.
Есть комплект уникальных стилей оформления и анимационных эффектов.
Сервисы для создания инфографики
Piktochart
Предлагает много бесплатных и премиум-шаблонов для инфографики, презентаций, отчетов и докладов. Все они выглядят впечатляюще, и их легко использовать.
Можно использовать все, что нужно для привлекательной презентации: диаграммы, графики, фото, видео, иконки и т.д. Простой встроенный редактор: выбираете один из шести сотен готовый шаблон, загружаете собственные файлы, перетаскиваете на рабочее поле объекты.
Импорт данных из Excel, Google Docs и сервиса интернет-опросов SurveyMonkey.
Easel.ly
Простой в использовании инструмент с сотнями шаблонов. Если хотите — начинайте с чистого листа.
На верхней панели выбираете интересующий объект (иконки, клипарты, диаграммы и т. д) и перетаскиваете в нужное место. Можно внедрять видео.
Стартовый тариф бесплатный, за дополнительные «печеньки» сервис просит $3 в месяц.
Платформы бизнес-аналитики и создания дашбордов
Sisense
Позволяет объединять данные из нескольких источников и искать новые идеи благодаря визуализации. Для создания только презентации Sisense - не лучший выбор. А вот если надо в кратчайшие сроки создать собственный дашборд с множеством виджетов - самое то.
Разработчики уверяют, что даже неподготовленный человек справится с задачей за полтора часа.
Короткий бесплатный тестовый период. Тарифы предоставляются по запросу.
Nuvi
Сервис платный, тарификация определяется конкретными задачами. Владельцы утверждают, что идут навстречу некоммерческим проектам и стартапам, так что можно торговаться.
Bime
Облачная платформа визуализации BI-аналитики. Берет исходные данные из систем контекстной рекламы, CRM, систем веб-аналитики, соцсетей и других источников. К сожалению, российские сервисы «из коробки» не поддерживаются. Нужны специалисты по IT-интеграции.
Преобразует данные в выразительные визуализации, которые хорошо смотрятся на любом дисплее вне зависимости от платформы и размера.
Бесплатный тестовый период на 2 недели. Базовый тариф - $490 в месяц.
iCharts
Облачная BI-платформа визуальной аналитики для бизнеса. Коллективный доступ к панели управления с виджетами в режиме реального времени. Результаты легко внедрять, распространять и просматривать.
Интеграция с Google Analytics, Salesforce, Zendesk, Azure, AmazonAurora, GoogleCloudSQL, GitHub и десятками других сервисов.
Платформа платная, стартовый тариф - $460 в месяц.
Plotly
Платформа, которая создает как отдельные диаграммы и графики, так и презентации и полноценные дашборды.
Работает с JavaScript, Python, R, Matlab, Excel. Импорт данных из нескольких источников (MySQL, Microsoft SQL Server, Redshift, Excel и т. д.).
Есть бесплатная версия. Платный тариф - $33 в месяц.
DataHero
Эта облачная платформа дает возможность полноценной работы без обращения к ИТ-специалистам. Импорт из облачных сервисов.
Можно создавать отдельные виджеты и дашборды.
Принципы «кнопки и перетаскивания»: не придется тратить время на освоение интерфейса.
Есть бесплатный тариф. Каждому новому пользователю сервис предоставляет бесплатный тестовый период на 2 недели с возможностями премиум-тарифа. Платные тарифы начинаются от $59.
Заключение
Конечно, большинство рутинных задач по обработке и визуализации данных, можно решить по старинке - в Excel, Adobe Illustrator и Power Point. Однако мощь современных технологий позволяет идти дальше, даже без специфических знаний и навыков.
Все сервисы работают на любой платформе и в любом браузере (за исключением старых версий). При этом не нужно быть специалистом IT или дизайнером, устанавливать Java, Silverlight или Flash.
Надеемся, вы не только подберете инструменты визуализации для ваших задач, но и узнаете новое о ваших данных.
Развитые средства визуализации данных стали неотъемлемой частью корпоративных BI-платформ . Некоторые вендоры, такие, например, как Tableau , именно визуализацию сделали краеугольным камнем своих аналитических систем. Тренд пронизывает рынок систем аналитики полностью: сегодня даже простейшие аналитические инструменты для конечных пользователей зачастую опираются именно на визуальное представление данных.
Визуализация больших данных
Наглядное представление результатов анализа имеет принципиальное значение для их интерпретации. Не секрет, что восприятие человека ограничено, и ученые продолжают вести исследования в области совершенствования современных методов представления данных в виде изображений, диаграмм или анимаций. Казалось бы, ничего нового здесь придумать уже невозможно, но на самом деле это не так. В качестве иллюстрации приводим несколько прогрессивных методов визуализации, относительно недавно получивших распространение.
- Облако тегов
Каждому элементу в облаке тега присваивается определенный весовой коэффициент, который коррелирует с размером шрифта. В случае анализа текста величина весового коэффициента напрямую зависит от частоты употребления (цитирования) определенного слова или словосочетания. Позволяет читателю в сжатые сроки получить представление о ключевых моментах сколько угодно большого текста или набора текстов.
- Кластерграмма
Метод визуализации, использующийся при кластерном анализе. Показывает как отдельные элементы множества данных соотносятся с кластерами по мере изменения их количества. Выбор оптимального количества кластеров – важная составляющая кластерного анализа.
- Исторический поток
Помогает следить за эволюцией документа, над созданием которого работает одновременно большое количество авторов. В частности, это типичная ситуация для сервисов wiki и сайта tadviser в том числе. По горизонтальной оси откладывается время, по вертикальной – вклад каждого из соавторов, т.е. объем введенного текста. Каждому уникальному автору присваивается определенный цвет на диаграмме. Приведенная диаграмма – результат анализа для слова «ислам» в Википедии . Хорошо видно, как возрастала активность авторов с течением времени.
- Пространственный поток
Эта диаграмма позволяет отслеживать пространственное распределение информации. Приведенная в качестве примера диаграмма построена с помощью сервиса New York Talk Exchange. Она визуализирует интенсивность обмена IP-трафиком между Нью-Йорком и другими городами мира. Чем ярче линия – тем больше данных передается за единицу времени. Таким легко, не составляет труда выделить регионы, наиболее близкие к Нью-Йорку в контексте информационного обмена.
Обработка операционных баз данных и многомерных хранилищ
- Транзакционные тяжелонагруженные базы данных
- Реляционные и многомерные хранилища
- Прямые обращения к API систем
- Работа с коннекторами
- Обработка плоских файлов (CSV, Excel , XML и т.п.)
Построение аналитических моделей в памяти
4.1. Звуковое расширенние визуальной аналитики
Одним из современных эффективных методов анализа различных научных данных является метод компьютерной визуализации этих - метод научной визуализации.
Решение задач анализа научных данных методом научной визуализации заключается:
- В получении представления анализируемых данных в виде их некоторого графического изображения (задача визуализации исходных данных). Для получения такого графического изображения необходимо данным поставить в соответствие пространственную сцену (совокупность пространственных объектов), а точнее говоря, ее геометрическое и оптическое (текстурное) описания (модели), а затем получить графическое изображение этой пространственной сцены (рендеринг), которое можно вывести на монитор, на принтер и другие устройства вывода для последующего анализа.
- В визуальном анализе полученного графического изображения анализируемых данных. При этом результаты анализа интерпретируются по отношению к исходным данным. Эта задача решается непосредственно самим пользователем. Под визуальным анализом графического изображения подразумевается визуальный анализ упомянутой пространственной сцены. Человек может делать суждения о взаимном расположении пространственных объектов, их форме и текстурном покрытии.
Рис. 4.1. Метод звуковой расширенной научной визуализации.
Рассмотрим возможность подключения в процессе визуального анализа другого органа чувств - органа слуха. Для того, чтобы осуществить анализ исходных данных посредством звука, соответственно необходимо:
- Получить представления анализируемых данных в виде их некоторого звукового отображения. Для получения такого отображения необходимо дополнить геометрическое и оптическое описание пространственной сцены ее звуковым описанием, и такую звуковую пространственную сцену поставить в соответствие исходным данным, а затем получить звуковое отображение этой пространственной сцены (звуковой рендеринг), которое можно вывести на колонки и другие устройства вывода для последующего анализа.
- Проанализировать звуковое отображение и результаты анализа интерпретировать
по отношению к исходным данным.
Важно отметить, что получение как звукового отображения, так и графического изображения, поставленного в соответствие исходным данным для последующего анализа зачастую делает процесс анализа более эффективным.
На рис.4.1 представлена структурная схема алгоритма расширенной визуализации, т.е. совместного получения графического изображения и звукового отображения исходных данных.
Рис. 4.2. Структурная схема алгоритма расширенной научной визуализации.
Такой алгоритм реализуется с использованием компьютера путем написания прикладной программы визуализации на некотором входном языке программирования используемого инструментального средства (совокупности средств) в виде некоторого программного продукта или совокупности программных продуктов.
Рассмотрим основные характеристики метода расширенной научной визуализации применительно к определенному классу задач анализа научных данных, когда в качестве таких данных используются описания тех или иных скалярных полей.
4.2. Звуковая расширенная визуальная аналитика скалярных полей.
Исходные данные
Эти данные представляют собой описание скалярного поля на некотором прямоугольном отсеке трехмерного физического пространства, представленное в файле. В качестве описания используется математическая модель скалярного поля в виде значений функции 3-х переменных вида F(x,y,z) в узлах заданной трехмерной прямоугольной сетки.
Отфильтрованные данные
В качестве отфильтрованных данных используется интерполяционная функции f(x,y,z), использующая значения исходной функции в узлах сетки. Для получения функции f(x,y,z), заданной на рассматриваемой области определения (параллелепипеде) нами была использована трилинейная интерполяция.
Описание пространственной сцены
Это описание включает в себя 3 составляющие:
- Описание изоповерхности функции f(x,y,z) в виде: f(x,y,z)=с, при этом
совместно принимаемые значения x,y,z принадлежат указанной выше области определения функции f(x,y,z), а с – задаваемое пользователем вещественное число,
соответствующее некоторому значению анализируемого скалярного поля.
Данная изоповерхность является 1-ым компонентом вводимой в рассмотрение пространственной сцены. - Оптическое описание, т.е. описание текстурного покрытия упомянутой изоповерхности, задаваемого пользователем.
- Звуковое описание, т.е. описание вводимого в рассмотрение точечного
источника звука. Его расположение (значения координат x0,y0,z0) задается пользователем, а частота исходящего звука w связана со значением функции f(x,y,z)
следующим образом: w = k*f(x0,y0,z0), где значение коэффициента k задается пользователем.
Данный точечный источник звука является 2-ым компонентом вводимой в рассмотрение пространственной сцены.
Графическое изображение и звуковое отображение пространственной сцены
Результатом выполнения рендеринга являются соответственно:
- проекционное графическое изображение изоповерхности на используемом графическом терминале,
- звуковая волна, генерируемая используемым звуковым терминалом.
Следует пояснить, что частота звуковой волны воспринимается пользователем как тон звука.
