1. 개요

• 출장 일자 : 2022.09.12 ~ 2022.09.17
• 출장지 : 미국, 산호세, 산타클라라 매리어트
• 숙박지 : FairField Inn & Suits by Marriott San Jose
• 교통편 : ICN → SFO (아시아나, 직항), SFO → San Jose (우버)

2. AI Hardware Summit 2022

2022 AI Hardware Summit (dapi)

• AI Hardware에 관련된 회사들이 거의 대부분 참석하는 컨퍼런스 (NVIDIA, AMD 등등)
• 발표들은 거의 회사들의 자사 서비스 소개같은 느낌
• 네트워킹이 메인
• Edge용 프로세서는 주로 Edge AI Summit에서 다룸 (동일한 장소에서 열림, 등록비 500달러)
• 현장 사진

배경 설명

전망 및 느낀점

• 현재 Data Center용 (주로 모델 학습용) 프로세서는 NVIDA GPU가 반 독점, 이를 Cerebras, Graphcore, Sambanova 등 다양한 기업이 GPU 보다 효율적이고 고성능인 프로세서나 시스템으로 파이를 뺏으려고 하는 상황
  • NVIDIA DGX-A100을 비교군으로 많이 사용 (동네북)
    • 마이크로소프트 같은 경우는 이거 8개가 든 서버를 수백개 연결한 데이터센터를 가지고 있다고… (AI Supercomputer)
  • Atos 같은 기업은 Large Scale AI Infrastructure를 (대규모 데이터 센터 등) 서포팅하는 냉각 기술(수냉)등을 선보임
  • 클라우드로도 사용 하거나 On-Premise로 할 수 있도록 자사 칩이 포함된 서버를 대여 하는 서비스도 있음

• Edge용 하드웨어는 춘추전국시대로 보임
  • 학습이 아닌 추론위주기 때문에 저전력이고 가격이 저렴해야함 (가성비 좋아야함)
  • NPU, FPGA, ASIC 등이 주로 사용되는 분야
  • 이쪽을 주력으로 하는 비교적 작은 회사들이 많음
• Foundation Model을 지원하려는 움직임이 활발
  • 메모리 크게 만들기, 칩 자체를 크게 만들기, bandwidth 늘리기, 거대 데이터 센터 구성 등등 다양한 전략