На GTC в Японии NVIDIA анонсировала TensorRT5 и платформу Clara
На состоявшейся 12 сентября в Японии конференции по технологиям графических ускорителей (GPU Technology Conference, GTC) компания NVIDIA анонсировала новую версию TensorRT - высокопроизводительного оптимизатора и ускорителя инференции систем глубокого обучения. TensorRT 5 поддерживает новые архитектуру Turing и подходы оптимизации INT8, которые, по заявлениям разработчиков, ускоряют инференцию до 40 раз быстрее, чем на платформах из одних центральных процессоров.
Как заявили в NVIDIA, последняя версия TensorRT показала особый рост скорости инференции в приложениях нейронного машинного перевода, распознавания речи и обработки естественного языка.
Разработчики выделяют три основных особенности TensorRT5:
- Ускорение инференции до 40 раз относительно решений на центральных процессорах для моделей с использованием смешанной точности на ядрах Turing Tensor;
- Оптимизация моделей инференции с помощью INT8;
- Поддержка платформ NVIDIA DRIVE на базе Xavier и ускорителей глубокого обучения NVIDIA для чисел половинной точности FP16.
Также представители NVIDIA объявили о грядущем выходе платформы Clara - вычислительная архитектура на базе модулей NVIDIA Xavier и NVIDIA Turing GPU. Платформа предназначена для вычислений и решения задач нового поколения в сфере медицины.
Платформа Clara будет включать в себя CLARA AGX (единая архитектура на базе графических ускорителей, которая предоставляет быструю инференцию на ядрах NVIDIA Tensor), комплект разработчика Clara SDK, набор библиотек для вычисления, графики и искуственного интелекта.
Среди областей применения были перечислены обработка и воспроизведение изображений, обработка вычислений для компьютерной и магнитно-резонансной томографии, работы с ультразвуком.
Подписывайтесь на наши социальные сети и добавляйте новостной раздел в закладки, чтобы ничего не пропустить. По вопросам консультации и приобретения обращайтесь к нашим специалистам:
+7 (495) 981-60-70
sales@t-mash.ru
