Inkling 2 Small 가중치 공개: 17B 활성 파라미터와 실제 서빙 요구량 구분하기

거대한 모델 저장 공간과 일부만 활성화되는 경로를 표현한 AI 생성 개념 이미지. 실제 하드웨어나 제품 화면이 아니다.

공개 가중치 모델에 ‘Small’과 ‘17B 활성 파라미터’라는 이름이 붙었다고 단일 GPU에서 가볍게 돌릴 수 있다는 뜻은 아니다. Inkling 2 Small을 검토할 때는 모델 전체 크기, 토큰별 활성 연산, 실제 서빙 메모리를 따로 보아야 한다.

이번 변화의 의미는 모델 하나가 추가됐다는 데서 끝나지 않는다. API 호출뿐 아니라 가중치를 내려받아 평가·배포하는 선택지가 열렸다. 다만 직접 호스팅할 수 있다는 것과 직접 호스팅하는 편이 유리하다는 것은 다른 판단이다.

무엇이 새로 공개됐나

Thinking Machines Lab은 2026년 11월 5일 Inkling 2 Small을 발표했고, 11월 12일 공식 발표문에 가중치 다운로드와 vLLM·SGLang 등 통합 지원을 추가했다. 처음 발표된 날짜와 공개 가중치로 접근할 수 있게 된 날짜를 구분해야 한다. 공식 발표 및 11월 12일 업데이트

11월 14일에는 Modal도 Shared Endpoint 제공을 발표했다. 이는 모델의 최초 출시가 아니라 제공 경로의 확대다. Modal의 해당 접근은 11월 27일까지 Preview로 안내되므로 장기 운영 조건을 확정된 것으로 취급해서는 안 된다. Modal 변경 기록

모델 카드는 Apache 2.0 라이선스, 텍스트·이미지 입력과 텍스트 출력을 명시한다. 제품 적용 전에는 실제로 받는 체크포인트의 라이선스 파일과 배포 조건을 확인하는 편이 안전하다. 공식 모델 카드

17B는 저장해야 할 전체 가중치 크기가 아니다

공식 사양은 전체 594B, 활성 17B 파라미터다. 희소 MoE 구조에서 각 토큰은 384개 전문가 중 8개로 라우팅된다. 선택된 전문가만 계산에 참여한다는 설명이지 나머지 전문가의 가중치가 모델에서 사라진다는 설명은 아니다.

모델 카드의 하드웨어 안내는 NVFP4 체크포인트에 합산 VRAM 최소 500GB, MXFP8에 최소 800GB를 제시한다. 따라서 ‘17B니까 4비트로 약 8.5GB’라는 계산을 GPU 구매나 인스턴스 선택 기준으로 삼으면 크게 어긋난다. 구조·체크포인트·하드웨어 요구사항

다음은 차이를 설명하기 위한 단순 산술이다. 실제 파일 크기나 실행 메모리를 측정하는 코드가 아니다.

이 계산은 로컬 Python에서 실행했다.

297GB 역시 배포에 필요한 VRAM 답이 아니다. 모든 파라미터가 정확히 4비트라고 가정한 원시 저장량 산술이며, 체크포인트 형식의 부가 정보, 실행 버퍼, KV 캐시 등을 반영하지 않는다. 공식 요구량을 출발점으로 삼고 실제 입력 길이와 동시 요청 수를 넣어 검증해야 한다.

먼저 정할 것은 API인가, 자체 호스팅인가

다음은 공식 성능 보장이 아니라 도입을 위한 판단 절차다.

기능 적합성을 빠르게 확인하려면 승인된 예산과 비민감 평가 데이터로 API 경로를 먼저 비교한다. 제공자마다 모델 ID, 입력 한도, 요금과 보존 정책을 별도로 확인한다.

데이터 이동이나 배포 통제가 핵심이면 공개 가중치 경로를 검토한다. GPU 확보뿐 아니라 서버 운영, 장애 복구, 버전 고정과 관측 비용도 계산한다.

특정 업무에 맞추려면 먼저 베이스라인 평가를 만든다. 미세조정을 시작하기 전에 프롬프트·도구 정의·검색 품질의 문제인지 분리한다.

Tinker Cookbook은 기존 워크플로에서 사용할 식별자로 아래 값을 안내한다. 이는 공급자 공통 ID가 아니라 해당 문서의 예시다.

공식 Cookbook은 입력 구성에 tml-renderers를 사용하고 thinking effort를 비교하도록 권장한다. 다른 모델의 직렬화나 도구 호출 형식을 그대로 복사하기보다 지원 렌더러와 현재 예제를 기준으로 연결한다. Tinker 사용 안내

코딩 에이전트에 붙이기 전에 확인할 것

실무에서는 “답변이 그럴듯하다”보다 기존 시스템과의 연결이 정확한지가 중요하다. 아래는 권장 평가 항목이며, 이 글에서 모델을 실행해 얻은 결과는 아니다.

작은 저장소 수정 과제를 고정하고 테스트 통과 여부와 불필요한 파일 변경을 기록한다.

도구 호출 이름·인수·오류 복구를 검사한다. 텍스트로 호출 의도를 설명한 것과 실제 구조화된 호출은 구분한다.

짧은 입력과 긴 입력을 나누어 시간·토큰·실패율을 측정한다. 최대 문맥 길이를 매 요청의 권장 길이로 해석하지 않는다.

같은 과제를 여러 번 실행해 결과 편차를 본다. 모델, 렌더러, 하네스, effort와 제한 시간을 함께 기록한다.

네트워크·파일 쓰기·명령 실행 권한은 과제에 필요한 범위로 제한한다. 모델 교체를 이유로 기존 보안 경계를 풀지 않는다.

공식 발표는 이 모델이 도구 선택에서 항상 최선의 결정을 내리는 것은 아니며, 특히 스킬이 많은 코드베이스에 한계가 있다고 설명한다. 또한 이미지 입력은 지원하지만 오디오는 지원하지 않는다. 이름이 비슷한 다른 Inkling 모델의 기능을 그대로 적용하지 않아야 한다. 공식 제한사항

결론

이번 공개는 자체 평가와 배포를 검토할 수 있는 새 선택지를 만든다. 그러나 ‘Small’이나 활성 파라미터 수만으로 운영 규모를 판단하면 안 된다.

먼저 공식 하드웨어 요구량과 제공 경로를 확인하고, 자신의 업무에서 작동하는 최소 평가 세트를 만든 뒤 비용과 통제를 비교하는 순서가 낫다. 이 글에서는 공식 문서 검토와 단순 저장량 산술만 수행했다. 모델 다운로드, GPU 서빙, 유료 API 호출이나 성능 측정은 하지 않았다.