Triton (1) - Triton 이란?

Triton이란?

• 효율적인 커스텀 Deep Learning Primitive를 구현하기 위한 언어 및 컴파일러
• 목표 : Cuda보다 더 빠르고 더 높은 생산성있는 코드 + 현존 DSL(Domain-Specific Language) 보다 큰 유연성
• 환경 : Linux + NVIDIA GPUs (Compute Capability 7.0+)

https://www.reddit.com/r/OpenAI/comments/18nf310/openai_triton_coursetutorial_recommendations/

Unsloth 이라는 llm fine-tuning의 속도를 높여주는 프레임워크도 Triton으로 구현됨

요약

• Cuda는 C언어를 사요하지만 Triton은 python을 사용한다.

• Triton을 사용하면 인공지능 뿐만 아니라 병렬적인 gpu 연산이 필요한 task에서 성능을 향상시킬 수 있다.