Томас Дэвенпорт, Ким Джин Хо

«О чем говорят цифры»КАК ПОНИМАТЬ И ИСПОЛЬЗОВАТЬ ДАННЫЕВладимир Леоненкоhttps://www.facebook.com/vladimir.leonenkohttps://vk.com/leonenko

АвторыТом Дэвенпорт — заслуженный профессор менеджмента и IT в Babson College, соучредитель Международного института аналитики. Занимается исследованиями в Центре цифрового бизнеса MIT. Один из наиболее часто публикуемых авторов Harvard Business Review.Том преподавал в Гарвардской школе бизнеса, в Чикагском университете, проводил исследования для Accenture, McKinsey & Company, Ernst & Young. Сейчас Дэвенпорт помогает компаниям «оживить» методы управления.Список научных интересов Тома широк: большие данные, управление знаниями, управление информацией, реинжиниринг бизнес-процессов, целостность корпоративных систем. Дэвенпорт написал шестнадцать бизнес-книг, в том числе «О чем говорят цифры». В этой книге Том рассказывает о том, как работать с большими данными и научиться их анализировать.Том написал более 100 статей для таких изданий, как Harvard Business Review, Sloan Financial Times. Часто цитируется в The Wall Street Journal, New York Times, Business Week, Fortune, Business 2.0, Boston Globe и Fast Company. Был назван одним из 50 лучших профессоров бизнес-школ, а также попал в список «100 самых влиятельных людей в IT».

АвторыДжин Хо Ким — профессор бизнеса и статистики в Корейском национальном университете обороны и директор-исследователь лаборатории аналитических исследований при этом же университете.JINHO KIM is a professor of business and statistics at the Korea National Defense University and the research director of the KNDU Lab for Analytics Research. He holds a PhD from the Wharton School and is the author of six books published in Korea, including the bestseller «100 Common Senses in Statistics»

КнигаKeeping Up with the Quants: Your Guide to Understanding and Using Analytics211 страниц о:

О количественной аналитике и её важностиО методах использования количественной аналитикиО совместной работы менеджеров и аналитиковО развитии аналитических способностей

Личное мнение• Легко читается.• Хорошее введение в то, что есть количественный анализ

и как его можно использовать.• Очень много примеров.• Полезность и насыщенность информацией снижается

после середины книги.• Изложение не всегда четко структурировано, но в целом

это не мешает.

Польза от книги• Расширяет применением аналитического мышления.• Позволяет разобраться в аналитике и использовать

статистическую информацию.• Учит сотрудничать с квантами*.• Позволяет «не квантам»* извлекать больше пользы из

массивов данных.

*quants = quantitative analyst – количественный аналитик - специалист по применения математических методов, методов количественного анализа в решении финансовых вопросов, оценке рисков и т.д.

В общемПро аналитику

Типы аналитики• Качественная аналитика – углубленное понимание

причин и мотивов тех или иных явлений. Опирается, как правило, на ограниченное количество неструктурированных данных / нерепрезентативную выборку.

• Количественная аналитика – систематическое изучение событий при помощи статистических, математических и вычислительных процедур. Опирается на репрезентативную выборку.

Виды аналитики• Описательная аналитика (дескриптивная) – ориентируется

на информирование о характеристиках данных. Ничего не говорит о причинах и прогнозах.

• Предсказательная аналитика (предикативная) – ищет зависимости между показателями, чтобы прогнозировать будущее (с заданной вероятностью). Причинно-следственная связь между переменными обнаруживается далеко не всегда.

• Нормативная аналитики (прескриптивная) – ищет причины явлений, используя в том числе эксперименты. Может включать оптимизацию – то есть выявление оптимального значения конкретной переменной во взаимосвязи с другой.

Три этапа и шесть шагов количественного анализа1. Формулирование проблемы.

1. Определение проблемы.2. Изучение предыдущих поисков решения.

2. Решение проблемы.1. Моделирование ситуации.2. Сбор данных.3. Анализ данных.

3. Результаты и необходимые меры.1. Демонстрация результатов и дальнейших действий.

Первый этап: формулировка проблемы

Про аналитику

Три этапа и шесть шагов количественного анализа1. Формулирование проблемы.

1. Определение проблемы.2. Изучение предыдущих поисков решения.

2. Решение проблемы.1. Моделирование ситуации.2. Сбор данных.3. Анализ данных.

3. Результаты и необходимые меры.1. Демонстрация результатов и дальнейших действий.

Определение проблемы• Решение о проведении анализа часто принимают на основе

интуитивных догадок и без доказательств. Доказательства проверяемой гипотезы ищутся на следующих шагах.

• Важный вопрос: кто составит основной круг заинтересованных в результатах предполагаемого анализа и что они думают по поводу проблемы, для решения которой анализ проводится?

• Второй важный вопрос: Какое решение должно быть принято в результате (т.е. после) анализа?

• Наконец можно начать проект количественного анализа.

Важнейшие вопросы этапа:1. Знаете ли вы, кто именно из топ-менеджеров кровно заинтересован в

результатах количественно-аналитического проекта?2. Имеют ли они представление о проблеме и возможных вариантах её

решения?3. Могут ли они предоставить необходимые ресурсы и внедрить

преобразования, необходимые для успеха проекта?4. Готовы ли они использовать аналитику и анализ данных в процессе

принятия решений?5. Соответствует ли предлагаемая методика анализа и способы её

представления их традиционному образу мышления и методам принятия решений?

6. Предусмотрели ли вы меря для регулярного информирования и обратной связи с теми, кто заинтересован в результатах анализа?

Вопросы при формулировании проблемы:1. Удалось ли выявить проблему или возможности действительно важные для организации?2. Есть ли альтернативные варианты решения проблемы?3. Определены ли основные выгодоприобретатели? Обсудили ли с ними?4. Подходит ли контрагентам способ решения проблемы? Смогут ли они использовать

результаты для управленческих решений?5. Какие именно решения и в какие сроки будут приняты? Кто будет это делать?6. Четко сформулированы вопросы? Определен круг информации, которую нужно собрать?

Понятны возможные результаты?7. Понятен ли вид аналитического проекта?8. Есть ли сотрудники, которые могут помочь с этим конкретным видом проекта?9. Проведён ли комплексный анализ предыдущих исследований?10. Пытались ли вы пересмотреть формулировку проблемы на основе прошлых исследований?

Выделяют 6 видов проектов количественного анализа:1. Проект CSI: полиция Майами. «Расследование»

обнаруженной бизнес проблемы. Данные нужны для подтверждения правильности её идентификации и поиска пути решения. Как правило не требуется углубленный статистический анализ – достаточно корректно подготовленных и представленных данных. «Самый простой».

2. Проект «Эврика!». Связаны с моделью бизнеса компании и её коммерческим успехом. Целенаправленно моделируются изменения в бизнес-модели компании. Часто включает в себя элементы других видов проектов. «Самый значимый».

Есть 6 видов проектов количественного анализа:3. Проект «Сумасшедший учёный». Связаны с

проведением экспериментах на целевых и контрольных группах. «Пришли» из фармакологии с её строгим научным аппаратом: рандомизацией, репрезентативностью и т.д.

4. Проект «Опрос». Классический метод количественного анализа. Несложно организовать. Пытается найти статистически значимую зависимость между исходными и изучаемыми факторами/переменными. Важно: Связь между двумя переменными еще не говорит о причинно-следственном характере. Важно убедиться, что выборка для опроса репрезентативна.

Есть 6 видов проектов количественного анализа:5. Проект «Предсказание». Обычно относятся к

предсказательной аналитике или предсказательному моделированию. На основе прошлых данных моделируется будущее. Как правило, мы точно не знаем, Какие факторы позволяют сделать обоснованный прогноз, поэтому тестируем все и отбираем те, которые срабатывают. Как правило точнее, чем прогнозы на базе качественного анализа. Важно помнить: мы не учитываем новые факторы, а только основываемся на прошлом.

6. Проект «Что случилось, когда…?» Классический отчёт о произошедших событиях, но ориентированный на наглядное представление данных.

Второй этап: Решение проблемы

Про аналитику

Три этапа и шесть шагов количественного анализа1. Формулирование проблемы.

1. Определение проблемы.2. Изучение предыдущих поисков решения.

2. Решение проблемы.1. Моделирование ситуации.2. Сбор данных.3. Анализ данных.

3. Результаты и необходимые меры.1. Демонстрация результатов и дальнейших действий.

Шаг 3. Моделирование• Модель – преднамеренно упрощённое представление

определённого события или ситуации.– Преднамеренно. Модель разрабатывается специально для решения

конкретной проблемы.– Упрощённо. Следует исключить из рассмотрения все банальные и

несущественные детали, оставив только особенности, определяющие специфику проблемы.

• «Все модели некорректны, но некоторые при этом полезны».• Ключевая проблема определить, когда модель начинает

искажать реальность.• Модель можно и стоит тестировать. Это позволит при

необходимости пересмотреть состав переменных.

Шаг 4. Сбор данных (измерения)Измерение – определение значения переменной; массив данных – набор таких измерений. Три основных метода измерения данных:• Двоичные переменные. Наличие или отсутствие определенного

фактора (например наличие гражданства). Частный случай категориальных (номинальных) переменных (например, штат).

• Ординальные переменные. Типичный пример представлен набором значений «Полностью согласен», «отчасти согласен», «…», «полностью не согласен». Несколько ординальных переменных, сведённых вместе, называются шкалой Ликерта.

• Количественные (интервальные и рациональные) переменные. Выражены числами, обычно в стандартных единицах: вес в фунтах или килограммах, рост в дюймах или сантиметрах, количество событий или записей и т.д.

Ценность данных• Приводятся примеры того, как простые алгоритмы на

имеющихся и новых данных «побеждают» сложные алгоритмы, работающие исключительно на имеющихся данных.

• Вторичные данные (т.е. собранные ранее) хороший способ экономить время и ресурсы на этом шаге.

• Первичные данные. Приходится собирать, когда нет доступных вторичных данных. На помощь приходит много методов – от интервью – до тщательно спланированных и контролируемых «сумасшедших» экспериментов.

Типы данных• Структурированные. Традиционные данные для

количественной аналитики, представленные в виде таблиц (колонок и строк).

• Неструктурированные данные. Big Data. Тексты, аудио, видео. Нужно предварительно обработать, чтобы затем уже получить структурированные данные для анализа.

• Анализ ведётся только на структурированных количественных данных, пусть и полученных в результате обработки неструктурированных массивов.

Шаг 5. Анализ. Основные статистические концепции и методы

Самое главноеЗависимая переменная (Depended Variable; DV). Переменная, значение которой неизвестно и подлежит прогнозированию или объяснению.Независимая переменная (Independent Variable; IV). Переменная, значение которой известно и применяется для прогнозирования или объяснения динамики зависимой переменной.

Основные статистические концепции и методыФакторный анализ. Способ снижения числа или структурирования анализируемых данных за счёт объединения переменных в группы (комбинированные показатели), каждая из которых отражает динамику ряда исходных переменных.Регрессия. Статистический метод, позволяющий построить уравнение для оценки значений зависимой переменной через известные значения независимых переменных:• Простая. Одна независимая переменная используется для оценки

зависимой.• Множественная. Более чем одна независимая переменная используется

для оценки зависимой.• Логическая. Использует одну или несколько независимых переменных

для прогнозирования бинарной категориальной зависимой переменной.

Основные статистические концепции и методыR-квадрат (R2). Показатель оценки степени совпадения рассчитанной регрессии с данными выборки, по которой произведён расчёт. В общем случае, чем выше R2, там более адекватной считается модель. Характеризует, долю вариаций независимой переменной, объяснимой независимыми переменными, включенными в регрессию.

Важно знать, что R2 используется только для простой регрессии. Для множественной регрессии используется приведённый R2 (adjuster R-squared).

Основные статистические концепции и методыПроверка гипотез. Системный подход к проверки исходного предположения. Два вида гипотез:• Нулевая гипотеза (H0) состоит в том, что между результатам

приведённых наблюдение не существует статистически значимой связи.

• Альтернативная гипотеза (Ha или H1). Исходит из предположения о наличии такой связи.

• Редактор указывает, что, строго говоря, нулевой гипотезой может быть любое предположение о генеральной совокупности. А приведённые выше гипотезы – это только одни из возможных гипотез, которые не обязаны быть нулевыми.

Основные статистические концепции и методыP-значение. Показывает вероятность подтверждения данными истинности нулевой гипотезы. При тестировании гипотез мы «отбрасываем нулевую гипотезу», если p-значение меньше уровня значимости α. Если гипотеза отбрасывается, то результат считается статистически значимым.Уровень значимости (α; Significance). Максимальное отношение количества нетипичных выборочных значений (выбросов) по всему объёму выборки, чтобы отклонить нулевую гипотезу. Обычно принимает значение 0,05 или 0,01.

Примечание редактора: авторы на пальцах пытаются дать определение критической области, то есть той части выборочного пространства, которая приводит к отклонению нулевой гипотезы.

Ошибка первого рода или ошибка α. Возникает, когда нулевая гипотеза истинна, но тем не менее отбрасывается. Вероятность ошибочного отбрасывания нулевой гипотезы как ложной равняется α.

Основные статистические концепции и методыТест (статистический критерий) χ–квадрат (хи-квадрат = Chi-Squared = Chi2). Статистический тест, отражающий соответствие данных выборки определенному типу распределения. Наиболее часто используется для проверки соответствия фактического распределения заданному.t-тест, или t-критерий Стьюдента. Метод статистической проверки гипотез путем проверки равенства средних значений двух выборок или проверки равенства среднего значений одной выборки некоторому заданному значению.

Основные статистические концепции и методыКластеризация, или кластерный анализ. Распределение результатов наблюдений по группам (кластерам) таким образом, что результаты в одной группе имеют сходные черты, в то время как результаты разных групп отличны друг от друга. Кластеризация является основной задачей интеллектуального поиска данных.Корреляция. Степень зависимости двух и более переменных друг от друга. Степень зависимости выражается коэффициентом корреляции от -1,0 (полная отрицательная корреляция) до +1,0 (полная положительная корреляция).• Полная корреляция означает пропорциональное изменение обоих

переменных. При положительной – в одинаковом направлении. При отрицательной – в разных направлениях.

• Коэффициент 0 – означает отсутствие корреляции.• Наличие корреляции является необходимым, но не достаточным условием

причинности.

Основные статистические концепции и методыДисперсионный анализ (ANOVA) – статистический тест на равенство средних значений двух и более групп.Причинно-следственная связь. Взаимосвязь между двумя событиями (причиной и следствием), когда второе событие считается последствием первого. В типичном случае причинно-следственная связь – это зависимость между рядом факторов (причинами) и результирующим фактором (следствие):• Событие-причина должно предшествовать событию-следствию

во времени и пространстве.• При наличии причины наступает следствие.• При отсутствии причины следствие на наступает.

Изменение моделиПростой тезис. Ни одну модель нельзя использовать неограниченно долго.• Важно уведомлять всех заинтересованных лиц о том,

можно ли до сих пор применять модель.• Модели должны регулярно (так часто, как требуется)

пересматриваться, чтобы соответствовать реальности.

Результаты и необходимые меры

Шаг последний

Три этапа и шесть шагов количественного анализа1. Формулирование проблемы.

1. Определение проблемы.2. Изучение предыдущих поисков решения.

2. Решение проблемы.1. Моделирование ситуации.2. Сбор данных.3. Анализ данных.

3. Результаты и необходимые меры.1. Демонстрация результатов и дальнейших действий.

Тезисы• Часто представлению результатов анализа придается слишком мало

значения. Как итоге – анализ не приводит к управленческим решениям.• Суть этапа:

– Описать проблему.– Пути решения.– Разработанную модель.– Необходимые данные.– Взаимосвязи между переменными.

• Лучше начинать доклад с описания результатов и рекомендаций.• Скучное представление результатов «хоронит тему».• Лучше не использовать сложную (т.е. любую) статистическую

терминологию.

Креативность в количественном анализе

Креативность в каждом из 6 шаговШаг Проявление креативностиОпределение и формулировка проблемы

Разработка гипотезы о закономерностях – творческий и интуитивный акт.

Обзор результатов предшествующих исследований

Творческий подход к тому, какие именно данные теснее всего связанны с текущими.

Моделирование (выбор переменных)

Стоит поискать для анализа те переменные, что не применялись раньше. Иначе новые результаты анализа вряд ли будут отличаться от старых.

Сбор данных Решение о том как и какие именно данные собирать несет в себе массу креативности.

Анализ данных Не стоит проявлять креативность.Обнародование результатов и принятие мер

Нужно придумать, как сформулировать сложные концепции и результаты анализа простым языком.

Четыре этапа креативного аналитического мышления1. Подготовка. Подготовительная работа для решения

проблемы.2. Погружение. Интенсивное погружение в решение

проблемы и анализ имеющихся данных. Обычно требуются настойчивые и длительные усилия.

3. Созревание. Проблема «отлеживается» в подсознании, что включает нестандартное решение (часто в момент, когда аналитик растерян и готов сдаться).

4. Озарение Большой прорыв в понимании путей решения проблемы с помощью методов количественного анализа.

Закон Бенфорда• Закон Бенфорда, или закон первой цифры, описывает

вероятность появления определённой первой значащей цифры в распределениях величин, взятых из реальной жизни. Закон верен для многих таких распределений, но не для всех.

D - цифра 1 2 3 4 5 6 7 8 9P - вероятность

30,1 % 17,6 % 12,5 % 9,7 % 7,9 % 6,7 % 5,8 % 5,1 % 4,6 %

Развитие навыков количественного анализа

Привычка к количественно-аналитической точке зрения формирует навыки• «Математические знания и количественное мышление –

разные вещи… …чтобы стать квалифицированным количественным аналитиком требуется незначительное количество математических знаний, выходящий за пределы школьной программы».

• Гуглите неизвестные слова, проходите онлайновые курсы и через пол года вы очень серьёзно продвинетесь.

• Мыслите вероятностно. Понимайте законы вероятности и случайностей.

Количественные навыки• Требуйте числе. Задавайте вопрос «Есть ли у вас данные в

поддержку этой гипотезы». «Множество слухов – это еще не данные».

• Не доверяйте данным, пока не проверите их происхождение:– Релевантность. Данные должны быть репрезентативны по отношению

к генеральной выборке и иметь непосредственное отношение к проблеме.

– Точность. Релевантные, но неточные данные нужно отбросить. Способ подготовки данных определяет их точность.

– Правильная интерпретация данных. «Насколько правильна интерпретация данных с учетом проблем и мотивов того лица, которое их предоставило?».

Хорошие вопросы о количественном анализе• Есть ли у вас данные в поддержку вашей гипотезы?• Что вы можете сказать об источнике данных, использованных в анализе?• Вы уверены, что выборка репрезентативна для генеральной совокупности?• Присутствуют ли какие-либо выбросы в распределении данных? Как они влияют на

конечный результат?• Какие предположения вы положили в основу своего анализа?• Есть ли какие либо обстоятельства, способные повлиять на достоверность

предположений и модели анализа?• Почему вы выбрали этот подход к анализу?• Какие преобразование данных вы провели, чтобы добиться соответствия между ними и

моделью?• Рассматривали ли вы иные подходы к анализу и если да, то почему от них отказались?• Насколько, по вашему мнению, вероятно, что независимые переменные действительно

обуславливают динамику зависимых переменных? Можно ли провести какие либо еще аналитические процедуры для подтверждения причинно-следственной связи?

Работа с квантами

Основное внимание удалено взаимоотношениям трёх групп• Лица, принимающие коммерческие и организационные

решения.• Бизнесмены или сотрудники компании.• Количественные аналитики или специалисты по данным.

Предполагается, что большинство читателей относится к первым двум группа и налаживает отношения с третьей.

Интуиция, опыт и количественная аналитика• Топ менеджеры обладают опытом и интуицией. И очень

полезны при выборе адекватных финансовых показателей, разработке важных деловых сценарием «что… если» и выборе условий, при которых аналитические модели релевантны, не подвергаются сомнению.

• Задача заключается в том, чтобы принимать решения на основе аналитики, но с учетом интуиции менеджеров.

Чего количественные аналитики могут ожидать от тех, кто принимает решения (Вас)• Уделить аналитикам достаточно времени и внимания. Убедиться, что они способны

видеть проблему с вашей точки зрения.• Выделить в их распоряжение время и внимание людей из вашей организации,

способных помочь в понимании деталей деловой ситуации.• Иметь четкое представление о времени и средствах, необходимых для выработки

решения, и достичь согласия с коллегами по этому вопросу.• В достаточной степени изучить математику и статистику, чтобы в общих чертах

понимать принцип работы модели и возможные причины того, что она неадекватна реальной ситуации.

• Вежливо, но твердо требовать объяснить вещи, Которые вам непонятны.• Посещать все брифинги, совещания и демонстрации, имеющие отношение к

аналитике.• Проинформировать сотрудников о том, что эффективное использование модели

необходимо как для успеха компании, так и для их собственного успеха.

Топ-менеджеры должны разбираться в следующих концепциях• Показатели общей тенденции (среднее значение, мода,

медиана).• Вероятности и распределение.• Выборка.• Основы корреляционного и регрессионного анализа.• Основы постановки экспериментов.• Интерпретация визуальной аналитики.

Ещё немного для топ-менеджеров• Очень важно уловить тот момент, когда некорректная

модель перестает быть полезной. Чаще всего происходит тогда, когда заложенные в модель исходные предположения оказываются неверными или недействующими.

• Стоит задать вопрос об исходных предположениях модели и условиях, при которых она выдаст недостоверные результаты. Если ответ перегружен терминологией, то вопрос можно перефразировать: «Что должно измениться в мире, чтобы модель утратила адекватность».

Не стесняйтесь задавать вопросы• Вы помните ваши данные?• Как вы думаете, можно ли протестировать эту гипотезу с

помощью конкретных данных?• Задумывались ли вы над возможностью эмпирического

анализа этой идеи?• У нас примерно … покупателей, проверяли ли вы вашу

идею хотя бы на ком-то из них?• Может быть, вам стоит рассмотреть возможность

проведения небольшого, но научно строгого эксперимента для проверки этой концепции?

Что можно ожидать от количественных аналитиков• Хорошего понимания закономерностей бизнеса и отдельных бизнес-процессов, о

частности тех, для которых формулируются аналитические проблемы.• Понимания логики вашего мышления, знания видов и методов анализа вкупе с их

результатами, которые способны повлиять на ваше мнение.• Способности устанавливать конструктивные взаимоотношения с ключевыми

сотрудниками в вашей организации.• Объяснения преимуществ и усовершенствований, которые способна обеспечить

аналитика, исходя из интересов бизнеса.• Предоставления точных оценок времени и затрат, необходимых для разработки моделей

и связанных с ней инструментов.• Терпения и умения объяснить иначе или с других позиций в том случае, если вы не

понимаете сути их предложений или не верите в реальность прогнозируемых преимуществ.

• Умения построить структурированный процесс сбора информации и внедрения правил, необходимых для разработки и эксплуатации модели.

Что можно ожидать от количественных аналитиков• Помощи в осмыслении аналитической проблемы в широком контексте, в

том числе формулировки предполагаемого решения, определения лиц, заинтересованных в её решении, организационных ресурсов, необходимых для её решения.

• Умения быстро разработать демоверсию новой модели и набора аналитических процедур (если только нет причин поступить иначе), чтобы представить пользователям наглядное подтверждение работоспособности модели и получить на неё отзывы.

• Настойчивого поэтапного совершенствования модели до тех пор, пока она не будет удовлетворять конкретным требованиям пользователей.

• Понимания того, что для освоения модели менеджерам требуется определенное время, в течение которого следует терпеливо отвечать а всевозможные вопросы и развеивать недоверие к рабочим свойствам модели.

Спасибо

Владимир Леоненкоhttps://www.facebook.com/vladimir.leonenkohttps://vk.com/leonenko