The Volume Game: Рецензия на книгу о больших данных - имеет ли значение размер и малые данные

Обманчиво легкое введение в большие данные, где искусственный интеллект делает тяжелое мышление

Все, что логически связано с чем-либо еще, генерирует данные, и чем меньше денег в экономике, тем богаче эти связи.

Большие данные: имеет ли значение размер?
Автор: Тимандра Харкнесс
Издатель: Bloomsbury Sigma
Страницы: 304
Цена: 499

Небольшие данные: крошечные подсказки, которые раскрывают огромные тенденции
Автор: Мартин Линдстрем
Издатель: Hachette India
Страницы: 245
Цена: 399

названия и фотографии диких птиц

Краткий ответ на вопрос, заданный на обложке книги комика и математика Тимандры Харкнесс, звучит так: конечно, размер не имеет значения. Это не имеет значения, за исключением фильмов о Кинг-Конге и Годзилле. Во всем остальном важен именно подход. Подходы к большим данным определяются широко распределенными и распараллеленными стратегиями хранения и обработки. Размер набора данных второстепенен, но все действительно начинает гудеть при разгоне томов.

Харкнесс, обладающая восхитительно легким прикосновением, отмечает, что объем имеющихся данных - которые она визуализирует в виде терабайтных жестких дисков, упакованных в чемоданы на багажной тележке в аэропорту - растет так быстро, что цифры к тому времени уже устарели. опубликовано. Все, что логически связано с чем-либо еще, генерирует данные, и чем меньше денег в экономике, тем богаче эти связи. Если проездная карта пополняется с помощью электронного кошелька, подключенного к банковскому счету и мобильному номеру (который постоянно сообщает данные о звонках и местоположении), создается достаточно данных для профилирования владельца.

По мере появления Интернета вещей кривая будет становиться все круче. Подключенные к Интернету автомобили, холодильники, багажные бирки, грузовые поддоны и т.п. будут генерировать такие данные, как пена, и для ее добычи пишутся алгоритмы. В этом заключается основное оперативное различие между традиционными статистическими методами и подходами к большим данным: последние полностью зависят от искусственного интеллекта, который учится по мере продвижения. Сначала вы обучаете его основам распознавания образов, и по мере того, как он улучшается, он теоретически должен достичь точки, в которой он бороздит море данных в поисках шаблонов, которые вы не ожидали найти, но которые могли бы заинтересовать.

Интересно, что человеческий интеллект гуру брендинга Мартина Линдстрема выявляет довольно похожие шаблоны. Поскольку они взяты из довольно небольших наборов выборок, его выводы можно рассматривать как анекдотические или как инсайты, в зависимости от их полезности. К первой категории относится его необычное наблюдение, согласно которому деловые путешественники в костюмах и ботинках в аэропортах, как правило, кладут свои посадочные карты в карманы вниз. Потому что они хотят скрыть тот факт, что летят эконом-классом. Это отличное развлечение, но бесполезно. Эта честь принадлежит наблюдению Линдстрома, которое, очевидно, изменило Lego, которая уступала место мгновенному удовольствию, предлагаемому цифровыми играми. Он спросил 11-летнего фаната Lego, что ему больше всего нравится. Оказалось, что это была пара старых кроссовок, потертых под правильным углом, чтобы объявить миру, что их владелец является чемпионом по скейтбордингу. От удовольствия Lego обратила свое внимание на видимые доказательства достижений, такие как дорогие модели «Тысячелетнего сокола», с которыми играют даже взрослые.

Изображение листьев платана

Линдстром проницательно не доверяет большим данным. Потому что в один прекрасный день ИИ заменит человеческих гуру. Распознавание образов намного надежнее, чем понимание. Это врожденный человеческий навык, которому сейчас обучаются машины. Харкнесс ссылается на новаторскую работу британского эпидемиолога Джона Сноу, который использовал статистические методы, чтобы отследить вспышку холеры в Лондоне в 1854 году до одного ручного насоса в Сохо. Сегодня ИИ обрабатывают поисковые запросы Google в поисках медицинских рекомендаций, на основе которых они отображают волновые фронты приближающихся эпидемий, обеспечивая стратегическую глубину службам здравоохранения. Большие данные уже используются корпорациями и правительствами и повлияют на наш мир невообразимым образом. Если он будет добрым, останется место для человеческого понимания.