VK Cloud представила сервис для потоковой обработки данных
VK Cloud запустила облачный сервис для потоковой обработки данных в режиме реального времени — Cloud Streams. Он работает на базе Arenadata Streaming и позволяет оперативно построить корпоративное хранилище данных, создать аналитические сервисы для обработки сотен сообщений в секунду и получать инсайты из неструктурированной информации.
Компании могут использовать Cloud Streams, чтобы создавать приложения для работы с потоковыми данными с помощью графического интерфейса и оперативно масштабировать ресурсы в облаке с учетом роста или снижения нагрузки. В VK Cloud всего парой кликов можно добавить в облачный кластер новые вычислительные мощности или отключить ненужные.
Cloud Streams может получать и обрабатывать данные из корпоративных и разрозненных внешних систем, хранить их в течение заданного периода времени и возвращать пользователям с требуемой нагрузкой. Сервис также можно использовать как шину данных между корпоративными приложениями.
Сервис легко интегрировать с компонентами Cloud Big Data, со всеми управляемыми СУБД в VK Cloud, а также с инструментами Elasticsearch, Couchbase, Cassandra благодаря широкому набору API. Кроме того, Cloud Streams совместим с Arenadata Hadoop (на базе экосистемы сервисов Apache Hadoop) и Arenadata DB на базе Greenplum. Это позволяет построить комплексное решение для всех этапов работы с большими данными с помощью продуктов из реестра российского ПО.
В основе сервиса — брокер сообщений Apache Kafka и инструмент для автоматизации потоков данных Apache NiFi. Эти компоненты будут доступны пользователям Cloud Streams как управляемые сервисы. Kafka и NiFi — стандарты в построении систем для работы с большими массивами данных. Они позволяют реализовать обмен сообщениями между серверными приложениями и управлять потоками данных из разных источников.
Михаил Тутаев, директор по продукту VK Cloud:
«Cloud Streams предоставляет компаниям стек технологий для обработки информации в режиме реального времени. Облачные сервисы позволяют быстро разворачивать необходимые инструменты и по клику управлять ресурсами при изменении нагрузки. Это актуально для компаний, работающих с большими объемами потоковых данных. Среди них, например, стриминговые сервисы, компании из финансового сектора, поставщики промышленных решений на базе интернета вещей. Решение построено на базе продуктов российского вендора — Arenadata — и находится в облаке VK Cloud, что обеспечивает повышенную защиту чувствительных данных».
Подключение сервиса в VK Cloud позволяет компаниям выполнить требования к работе с персональными данными по стандартам 152-ФЗ вплоть до УЗ-1, а инструменты Cloud Streams для разграничения прав доступа пользователей к потокам данных помогут повысить защищенность решений.
