AI기반 인지 하드웨어 플랫폼 기술 심화
Q) 자율주행 인지를 위한 하드웨어로 GPU와 NPU가 있는데 그 차이는?
→ GPU는 병렬처리에 뛰어난 범용 프로세서로 학습에 많이 쓰이고 있다. NPU는 딥러닝에 특화된 기능을 고속으로 처리하기 위해 만들어진 칩셋이다. NPU는 주로 자율주행차와 같은 디바이스나 엣지에 사용될 것 같다.
학습 내용)
1.
AI기반 인지 하드웨어 플랫폼 개요
2.
AI기반 인지 하드웨어 플랫폼 기술
3.
AI기반 인지를 위한 자율주행 컴퓨터
keyword 1)
가속기
→ AI에 자주 사용되는 연산을 고속, 저전력으로 수행하기 위한 전용 하드웨어
keyword 2)
GEMM
→ General matrix and multiply engine
→ 가속기에서 계산량이 가장 많은 행렬곱을 계산하는 부분
keyword 3)
딥러닝 모델 압축
→ 계산량을 줄이기 위해 딥러닝의 모델 크기를 경량화
→ 노드 푸루닝, 채널 푸루닝, Depthwise Separable Convolution
AI기반 인지 하드웨어 플랫폼 개요
자율주행 컴퓨터
→ 하드웨어 사양 : 실시간 계산 가능해야함, 낮은 전력 소모
칩셋?
•
가속기 : 딥러닝 계산에 특화
•
센서 데이터 입출력 인터페이스
•
GPU, CPU : 전처리, 후처리
서버
•
가속기
•
GPU 서버 하드웨어
→ 딥러닝 학습을 위해 필요
AI기반 인지 하드웨어 플랫폼 기술
딥러닝 가속기 기술
•
하드웨어 설계할 때 딥러닝에 사용되는 연산(누적 연산)들을 가속화하여 하드웨어 안에서 빠른시간안에 적은 전력으로 계산할 수 있게 해주는 기술
딥러닝 가속기
•
많은 비트 연산 필요 없음
•
성능 저하 없이 8비트 이하의 연산 수행 가능
딥러닝 가속기 구성
GEMM (General matrix and multiply engine)
•
딥러닝에서 가장 계산량이 많은 행렬 곱 수행
SRAM
•
딥뉴럴 네트워크의 가중치, 활성화값 저장
DRAM
•
딥뉴럴 네트워크의 결과물, 입력 데이터 저장
아키텍쳐 경량화
•
이론 또는 시뮬레이션을 통해 딥러닝 모델 도출
◦
하드웨어 스펙에 맞게 압축
→ 딥러닝 모델 압축
→ 신경망 가중치와 활성화값을 양자화 → 계산양 줄인다
컴파일러
AI기반 인지를 위한 자율주행 컴퓨터
테슬라 FSD 컴퓨터
NNA (Neural Network Accelerator)
→ 두개의 칩을 서로 다른 파워서플라이를 사용하여 장착 → 동작 오류 대체 가능
