Диск здоровья двойной Дабл

Диск Здоровья Эффективность

Диск здоровья / Январь 24, 2016

Вчера познакомился в Ведущим Data Architect на Тесла. Oleksiy Illyashov - да - это самый крутой Data Scientist на Тесла - парень из СНГ. Рассказывал много интересного.

Объем ежедневной телеметрии, поступающей с каждого проданного автомобиля в их аналитический центр во Фримонте (30 минут езды от моего дома.) - 40 МБ.

Это примерно 8 Tбайт КАЖДЫЙ ДЕНЬ, который они обрабатывают в реальном времени. Это не только состояние машины, но и обмен данными между машиной и приложением на телефонах владельцев. Показывал как с телефона можно управлять отдельными функциями автомобиля.

В течении 3-5 лет такой объем телеметрии будет поступать от КАЖДОГО нового автомобиля на планете. Ну и потом уже интернет вещей, когда телеметрию будет генерировать Ваш унитаз, холодильник, кондиционер, настольная лампа, одежда и все такое.

Все это надо будет в реальном времени обрабатывать, анализировать, делать предсказания, а потом отсылать обратно, перенастраивая устройства в реальном времени. А чтобы осмысленно обрабатывать такие массивы данных, нужен очень гибкий и мощный искуственный интеллект. И он будет, потому, что корпорации имеют такой запрос. А еще есть вопросы безопасности.

На эту тему вчера же познакомился с Program Manager из корпорации Dell, которая много чего делает, но в том числе встроенные решения по оптимизации места на дисках, устранению дублирования, когда вместо хаотических копий они хранят дескрипторы и ссылки.

Вроде пустяк задача, но объемы данных их клиентов исчисляются уже тысячами ПЕТАбайт, и есть стоимость хранения и обслуживания каждого байта. Поэтому при таких объемах даже такие, казалось бы совсем малипусенькие задачи приводят к экономии, которая в сотни раз превышает затраты на содержание инженеров, разрабатывающих таких решения.

Интересный кейс автомобильный пограничный пункт между Китаем и Вьетнамом. Сколько машины в очереди стоят между Россией и Польшей? 8-10 часов? Ну это пустяк. Что в Китае?

В Китае идет дорога по 20(!) полос в каждую сторону с автоматическим шлагбаумом. Система распознавания в автоматическом режиме считывет номерной знак и лицо водителя и за те 10 секунд, которые остается до шлагбаума анализирует данные на предмет преступлений или чего ещи, и принимает решение - закрыть шлагбаум или нет. За 10 секунд. 20 полос в одну сторону.

Говорите научно техническая инициатива есть в России? Говорите брусчатку в Москве научились каждый год менять быстрее?

В Тесле постоянно изучают различные кейсы, связанные с обработкой сверх больших объемов данных. Хотя тема в cloud пошла на убыль в стартапах, просто она переместилась в крупные корпорации, которые генерируют все нарастающие потоки данных.

Источник: ibigdan.livejournal.com