모델 온 칩 · 하드와이어드 LLM 칩 · 모델 전용 ASIC · Taalas HC1 · 엣지 LLM 칩
모델 온 칩이란: LLM 을 하드와이어링한 ASIC, 클라우드와 엣지
Fanshi Semiconductor 엔지니어링 팀 · 게시

모델 전용 ASIC 은 하드와이어드 LLM 칩이라고도 하며, 대형 언어 모델 하나의 가중치를 제조 단계에서 실리콘에 고정합니다. 추론할 때 가중치를 메모리에서 옮길 필요가 없어지므로, 디코딩 속도와 에너지 효율이 범용 GPU 보다 몇 자릿수 높아질 수 있습니다. 그 대신 모델을 자유롭게 바꿀 수 없습니다. 종류는 두 가지입니다. 클라우드용은 랙당 초당 토큰 수와 토큰당 비용을 겨냥하고, 엣지용은 와트급 전력, 오프라인 동작, 기기 원가를 겨냥합니다.
「하드와이어링」의 실제 의미
범용 GPU 는 어떤 모델이든 실행할 수 있는 기계입니다. 가중치는 메모리에 있고, 토큰을 하나 생성할 때마다 한 번씩 읽습니다. 모델 전용 ASIC 은 반대입니다. 설계 단계에서 모델을 정하고, 가중치를 마스크 ROM 이나 금속 배선층에 기록해 칩의 일부로 만듭니다. 칩이 공장을 나설 때 모델은 이미 그 안에 들어 있습니다.
이렇게 하면 추론에서 가장 비용이 큰 단계, 곧 가중치 이동이 사라집니다. 연산 유닛이 데이터를 기다리지 않게 되고, 대역폭이 더는 상한이 아니며, 전력 대부분이 전송에 쓰이지도 않습니다.
왜 지금인가
이 아이디어를 제품으로 바꾼 요인은 두 가지입니다. 첫째, 모델 계열의 구조가 안정되었습니다. 새 버전이 이전 버전의 계층 구성을 유지하는 경우가 많아, 한 모델을 위해 만든 칩 아키텍처를 다음 모델로 이어 갈 수 있습니다. 둘째, 추론 비용이 계속 늘고 있습니다. 토큰당 가격과 전력 비용 모두가 가장 많이 쓰이는 소수의 모델을 위한 전용 하드웨어를 만들도록 업계를 밀고 있습니다.
GPU 를 대체하는 것은 아닙니다. 학습, 연구, 사용량이 적은 모델에는 여전히 범용 하드웨어가 필요합니다. 모델 전용 ASIC 은 모델이 확정되어 있고, 물량이 매우 크거나 전력 예산이 매우 빠듯한 곳에 맞습니다.
클라우드와 엣지는 목표가 다르다
이런 종류의 클라우드 칩은 데이터센터에 놓이고 GPU 서버와 비교됩니다. 지표는 랙당 초당 토큰 수와 100만 토큰당 달러입니다. 대개 더 앞선 공정을 쓰고 수백 와트를 소비합니다.
엣지 칩은 기기 안에 들어갑니다. 번역기, 자동차, 로봇, 산업용 카메라 같은 곳입니다. 여기서 묻는 것은 1 와트에서 수십 와트로 동작하는지, 네트워크 없이 동작하는지, 부품 원가를 얼마나 올리는지입니다. 데이터는 기기 밖으로 나가지 않습니다. 망 분리 환경과 개인정보에 민감한 배치에서는 필수 요건입니다.
Fanshi Semiconductor 는 엣지용을 만듭니다. 성숙한 SMIC 28 nm 공급망 위에서 MaskROM 컴퓨트 인 메모리, SRAM 컴퓨트 인 메모리, 니어 메모리 컴퓨팅의 세 가지 경로를 제공하며, 와트급 휴대 기기부터 35B 모델을 구동하는 고부하 노드까지 다룹니다. 사이트의 모든 수치는 설계 목표입니다.
공개된 기준점: Taalas HC1
가장 뚜렷한 공개 사례는 2026년 2월에 발표된 Taalas HC1 입니다. 회사와 언론 보도에 따르면 Llama 3.1 8B 를 약 530억 개 트랜지스터의 단일 ASIC 에 하드와이어링했고, TSMC 6 nm 공정에 다이 면적 815 mm² 로 제조되며, 사용자당 초당 17,000 토큰에 가까운 속도로 생성합니다. 같은 모델에 대해 보도는 NVIDIA H200 에서 초당 약 230 토큰, Cerebras 에서 독립 벤치마크 기준 초당 약 1,900 토큰을 인용합니다.
이 방식을 평가할 때 중요한 점이 두 가지 있습니다. 회사 스스로 밝힌 바에 따르면 첫 실리콘은 3 비트와 6 비트 파라미터를 섞은 강한 양자화를 적용했고, GPU 기준과 비교해 답변 품질이 다소 떨어집니다. 그리고 이것은 약 2.5 kW 서버용으로 설계된 데이터센터 제품이지, 기기 안에 들어가는 물건이 아닙니다.
엣지용은 같은 생각, 곧 가중치를 옮기지 않는다는 생각을 성숙 공정 위에서, 1 와트에서 수십 와트에 맞춘 규모의 모델에 적용합니다.
공급사에 물어야 할 것
첫째, 모델이 바뀌면 어떻게 되는가. 새 마스크가 필요한가, 다시 로드하면 되는가, 외부 메모리를 갱신하면 되는가. 같은 계열의 새 모델이 기존 아키텍처를 다시 쓸 수 있는가. 둘째, 공개된 수치는 실측인가 설계 목표인가. 어떤 모델, 어떤 정밀도, 어떤 시험 조건의 수치인가. 셋째, 테이프아웃 전에 평가 보드를 받아 자사 모델과 데이터로 돌려 볼 수 있는가. 넷째, 공정과 공급망은 얼마나 예측 가능한가. 납기를 결정하는 것은 무엇인가.
기기에 넣을 이런 칩을 검토하고 있다면 Fanshi 사이트의 프로젝트 개요 페이지는 2분이면 됩니다. 모델, 기기, 전력 예산, 물량을 적으면 엔지니어링 팀이 프로젝트에 대해 답합니다.
자주 묻는 질문
하드와이어드 칩의 모델을 업데이트할 수 있습니까?
가중치가 어디에 있느냐에 달려 있습니다. 마스크 ROM 에서는 가중치가 마스크 세트의 일부이므로 새 모델에는 새 마스크가 필요합니다. 다만 어댑터 방식의 조정과 컨텍스트 길이 설정을 허용하는 설계도 있습니다. SRAM 컴퓨트 인 메모리에서는 가중치를 전원 투입 시 로드하므로 교체할 수 있습니다. 니어 메모리 컴퓨팅에서는 가중치가 외부 메모리에 있어 펌웨어처럼 갱신할 수 있습니다.
모델 온 칩은 컴퓨트 인 메모리와 같은 것입니까?
겹치는 부분은 있지만 같지 않습니다. 모델 온 칩은 제품 차원의 결정을 가리킵니다. 한 모델을 실리콘에 고정한다는 뜻입니다. 컴퓨트 인 메모리는 회로 기술을 가리킵니다. 연산이 메모리 어레이 안에서 일어난다는 뜻입니다. 어레이 안에서 연산하는 마스크 ROM 칩은 둘 다에 해당하고, SRAM 컴퓨트 인 메모리 칩은 모델을 고정하지 않은 컴퓨트 인 메모리입니다.
하드와이어드 LLM 칩은 얼마나 빠릅니까?
공개된 기준은 Taalas HC1 이며, 회사는 Llama 3.1 8B 에서 사용자당 초당 17,000 토큰에 가깝다고 발표했습니다. 이는 특정 양자화에서 한 모델에 대한 제조사 수치입니다. 어떤 칩이든 수치가 실측인지 설계 목표인지, 어떤 모델과 정밀도에 대한 것인지 확인하십시오.
Fanshi 는 Taalas 와 관련이 있습니까?
없습니다. Fanshi Semiconductor 는 Taalas 와 제휴 관계도 협력 관계도 아닙니다. 두 회사는 큰 기술 방향을 공유할 뿐이며, Taalas 는 데이터센터용 가속기를, Fanshi 는 엣지 기기용 칩과 IP 를 만듭니다.



