В Новосибирске ускорили запись больших данных в платформе Apache Hudi
Скорость обработки выросла до четырех разВ пресс-службе Новосибирского государственного университета (НГУ) сообщили, что выпускник вуза Марк Бухнер усовершенствовал программную платформу Apache Hudi с открытым исходным кодом. Разработка уже прошла международную проверку и включена в официальные версии системы, которую используют компании для хранения и обработки больших объемов данных.
© Ferra.ru
Apache Hudi относится к системам класса «озеро-хранилище» и предназначена для хранения, обработки и анализа больших массивов данных. Платформа принимает в режиме реального времени телеметрию с миллионов устройств, включая автомобили и бытовую технику. Новая доработка позволяет ускорить запись информации в базы данных объемом в терабайты в 2−4 раза, в зависимости от режима работы.
Такое решение востребовано в автомобильной отрасли, промышленности, энергетике и логистике. Сейчас Apache Hudi широко используется на азиатском рынке.