소식

Jul 20, 2023

Xilinx: 희박한 TOPS와 밀도 높은 TOPS. 그것들은 무엇이고, 차이점은 무엇이며, 그것이 나에게 무엇을 의미합니까?

2022년 1월 24일 아주 최근까지 TOPS에 대한 언급은 항상 밀도가 높은 TOPS를 의미했습니다. 그러나 희소 행렬에서 제로 압축을 지원하려는 최근 추진으로 인해 희소 TOPS라는 용어는

2022년 1월 24일

아주 최근까지 TOPS에 대한 언급은 항상 밀도가 높은 TOPS를 의미했습니다. 그러나 최근 희소 행렬에서 제로 압축을 지원하려는 노력으로 희소 TOPS라는 용어가 등장했습니다. 밀도가 높은 TOPS와 희박한 TOPS의 차이점은 무엇입니까? 그리고 왜 희소성에 관심을 가져야 할까요? 이러한 주제를 자세히 살펴보겠습니다.

인공 지능(AI)은 기계 학습(ML)에 크게 의존하며 ML은 거의 전적으로 행렬을 곱하여 수행됩니다. 행렬은 객체를 나타낼 수 있습니다. 예를 들어 0이 아닌 값은 이미지의 픽셀을 나타내고 0 값은 빈 공간을 나타냅니다. 이러한 0 값은 압축되거나 제거될 수 있으며, 압축을 통해 두 행렬을 곱하는 데 필요한 연산 수가 줄어듭니다. 이러한 0 값을 압축하고 제거하는 것을 희소성이라고 합니다.

초당 Tera-Operations(TOPS)는 시스템이 계산할 수 있는 작업 수를 간단히 평가하는 기본적인 계산입니다. TOPS는 초당 작업 수에 시스템의 클럭 주파수를 곱하여 결정할 수 있습니다. 예를 들어, 1GHz에서 실행되는 초당 512개의 MAC(Multiply-Accumulate) 작업을 수행할 수 있는 장치의 TOPS는 512 x 1GHz x 2 = 1024 TOPS입니다. 이 숫자는 밀도가 높은 TOPS를 나타냅니다.

위 수치는 행렬의 0 값을 압축할 경우 얻을 수 있는 성능 향상을 고려하지 않고 계산한 수치입니다. 0의 절반을 제거하면 불필요한 작업 수가 50% 줄어들어 성능이 2배 향상됩니다. 이것이 스파스 TOPS의 정의입니다. 0 값을 제거하기 위해 압축된 행렬은 희소 행렬인 반면, 0과 0이 아닌 값을 가진 행렬은 조밀한 행렬입니다.

희소성은 이론적으로 시스템 성능을 최대 2배까지 향상시킬 수 있기 때문에 강력합니다. 그러나 희소 TOPS와 조밀 TOPS의 차이점을 이해하는 것이 중요합니다. 시스템이나 장치를 비교할 때 밀도가 높은 TOPS와 희소한 TOPS를 비교하는 함정에 빠지지 않도록 하십시오. 또한 이론적인 성능 향상은 일반적으로 실제 시스템에서 구현될 수 없으므로 어떤 성능 주장이라도 가볍게 받아들이십시오. ResNet50, Yolov3, MobileNet 등과 같은 ML 네트워크를 사용하면 TOPS보다 AI 칩의 성능에 대해 훨씬 더 많은 것을 알 수 있습니다.

배치 크기 = 18, INT8 정밀도의 결과

희소성 지원은 Versal® AI Edge 및 Versal AI Core 적응형 컴퓨팅 가속 플랫폼(ACAP)에서 사용할 수 있는 Xilinx의 기계 학습용 AI 엔진(AIE-ML)의 주요 기능 중 하나입니다.​

제품 선택 가이드에서 Versal AI Edge 시리즈에 제공되는 TOPS 번호 및 관련된 모든 담보는 고밀도 TOPS를 사용합니다. 다음은 각 Versal AI Edge 시리즈 장치에서 달성할 수 있는 희소 TOPS의 추정치입니다.

Versal AI Edge 시리즈의 AI 성능에 대해 자세히 알아보려면 조기 액세스 프로그램에 참여하세요. 시작하려면 현지 Xilinx 담당자에게 문의하거나 영업팀에 문의하세요.

첨부파일

부인 성명

자일링스 주식회사이 콘텐츠를 게시한 위치2022년 1월 24일 여기에 포함된 정보에 대한 책임은 전적으로 본인에게 있습니다. 편집되지 않고 변경되지 않은 상태로 공개 배포됨2022년 1월 24일 16:13:01 UTC.