На GTC в Японии NVIDIA анонсировала TensorRT5 и платформу Clara

На состоявшейся 12 сентября в Японии конференции по технологиям графических ускорителей (GPU Technology Conference, GTC) компания NVIDIA анонсировала новую версию TensorRT - высокопроизводительного оптимизатора и ускорителя инференции систем глубокого обучения. TensorRT 5 поддерживает новые архитектуру Turing и подходы оптимизации INT8, которые, по заявлениям разработчиков, ускоряют инференцию до 40 раз быстрее, чем на платформах из одних центральных процессоров.

Как заявили в NVIDIA, последняя версия TensorRT показала особый рост скорости инференции в приложениях нейронного машинного перевода, распознавания речи и обработки естественного языка.

Разработчики выделяют три основных особенности TensorRT5:

• Ускорение инференции до 40 раз относительно решений на центральных процессорах для моделей с использованием смешанной точности на ядрах Turing Tensor;
• Оптимизация моделей инференции с помощью INT8;
• Поддержка платформ NVIDIA DRIVE на базе Xavier и ускорителей глубокого обучения NVIDIA для чисел половинной точности FP16.

Вторым анонсом от NVIDIA стал сервер инференции TensorRT (TensorRT inference server) - это контейнеризированная микрослужба, которая максимизирует использование графического ускорителя и запускает на узле параллельно несколько моделей из разных программных платформ (фреймворков). Использует технологии Docker и Kubernetes для бесшовной интеграции в рамках архитектуры DevOps. Поддерживается на операционных системах Windows и CentOS.

Также представители NVIDIA объявили о грядущем выходе платформы Clara - вычислительная архитектура на базе модулей NVIDIA Xavier и NVIDIA Turing GPU. Платформа предназначена для вычислений и решения задач нового поколения в сфере медицины.

Платформа Clara будет включать в себя CLARA AGX (единая архитектура на базе графических ускорителей, которая предоставляет быструю инференцию на ядрах NVIDIA Tensor), комплект разработчика Clara SDK, набор библиотек для вычисления, графики и искуственного интелекта.

Среди областей применения были перечислены обработка и воспроизведение изображений, обработка вычислений для компьютерной и магнитно-резонансной томографии, работы с ультразвуком.

Подписывайтесь на наши социальные сети и добавляйте новостной раздел в закладки, чтобы ничего не пропустить. По вопросам консультации и приобретения обращайтесь к нашим специалистам:
+7 (495) 981-60-70
sales@t-mash.ru