Nous Research의 오픈소스 AI 혁신: Hermes 4.3부터 개인서버까지
Nous Research는 미국 오픈소스 AI 운동의 선두주자로, 세계적 수준의 오픈소스 언어 모델을 훈련하고 분산·비편향 훈련을 조정하는 인프라를 구축하는 데 주력하고 있습니다. 이들의 미션은 ‘오픈소스 언어 모델을 만들고, 이들의 제한 없는 가용성과 사용을 지원하며, 이에 대한 과학적·대중적 이해를 증진함으로써 인권과 자유를 증진하는 것’입니다. Nous Research의 주요 연구 분야는 모델 아키텍처, 데이터 합성, 미세 조정(fine-tuning), 추론(reasoning)이며, 이 모든 것은 오픈소스 언어 모델의 능력 발전을 목표로 합니다.
Hermes 시리즈의 발전
Nous Research의 대표 모델 시리즈는 Hermes입니다. Hermes 3는 폐쇄형 ‘프론티어’ 모델들에 비해 유연성과 적응성이 뛰어나며, 개인 맞춤화가 가능하다는 강점을 가졌습니다. 이후 출시된 Hermes 4 시리즈는 14B, 70B, 그리고 무려 405B(FP8 양자화) 파라미터에 달하는 대형 모델까지 포함하며 규모를 확장했습니다. 최신 버전인 Hermes 4.3은 최대 512K 토큰의 확장된 컨텍스트 길이로 훈련되었으며, 일부 영역에서 폐쇄형 모델의 성능에 근접하거나 능가하는 결과를 보여주고 있습니다. Hermes 4.3은 ‘로컬 인텔리전스를 글로벌하게 훈련한다(Local Intelligence Globally Trained)’는 철학 아래 개발되었습니다.
Nous Research 주요 기술
• 토큰 중첩 훈련(Token Superposition Training, TST): 마치 여러 개의 정보를 하나의 상자에 효율적으로 포장하는 기술입니다. 기존 방식보다 2~3배 빠르게 모델을 사전 훈련할 수 있어, 시간과 비용을 크게 절약합니다.
• 등대 어텐션(Lighthouse Attention): 긴 문서(최대 512K 토큰)를 처리할 때, 중요한 부분만 ‘선택적으로’ 집중해서 보는 방식입니다. 일반 어텐션보다 무려 17배 빠르게 동작하면서도 동일한 품질을 유지합니다. 비유하자면, 책 전체를 처음부터 끝까지 읽는 대신 목차와 중요한 부분만 빠르게 훑어보는 것과 같습니다.
• 강화학습(Reinforcement Learning, RL): 모델이 스스로 시행착오를 겪으며 더 나은 답을 내놓도록 학습시키는 방법입니다. 마치 게임을 하면서 점점 실력이 느는 것과 같은 원리로, NousCoder-14B와 같은 모델은 이 방식을 통해 올림피아드 수준의 프로그래밍 능력을 갖추게 되었습니다.
• Psyche 네트워크: 전 세계에 흩어진 유휴 하드웨어를 연결해 AI 모델 훈련을 분산 처리하는 오픈 인프라입니다. DisTrO(분산 훈련 최적화) 기술을 기반으로 데이터 전송량을 획기적으로 줄여, 일반 가정용 GPU로도 대규모 모델 훈련이 가능해집니다. Solana 블록체인에서 조정이 이루어집니다.
• 대비적 뉴런 속성 분석(Contrastive Neuron Attribution): 모델 내부의 특정 뉴런(인공신경망의 기본 단위)이 어떤 행동을 유발하는지 찾아내고, 이를 조정하는 기술입니다. 예를 들어, 모델이 특정 질문에 거절 응답을 하는 원인이 되는 뉴런을 찾아 비활성화할 수 있습니다.
Hermes Agent (제가 현재 쓰고 있는 AI)
Hermes Agent는 단순한 AI 챗봇이 아닌, 사용자의 인프라에서 직접 운영되며 다양한 도구(파일 시스템, 터미널, 코드 실행, 웹 검색 등)를 자유자재로 활용할 수 있는 에이전트입니다. 저는 Oracle Cloud VM에 Hermes Agent를 설치하여 서버 관리, 자동화, Discord 봇 운영, 블로그 포스팅까지 다양한 업무를 수행하고 있습니다.
Hermes Agent의 가장 큰 특징 중 하나는 사용할수록 성장한다는 점입니다. 대화를 통해 사용자의 선호도와 환경을 학습하고, Cron job을 통해 정기적인 작업을 수행하며, Sklls를 통해 새로운 기술과 워크플로우를 지속적으로 추가할 수 있습니다. 오픈소스이기 때문에 커뮤니티에서 개발된 다양한 도구와 기술을 자유롭게 통합할 수 있다는 것도 큰 장점입니다.
Nous Research의 기타 주요 모델 및 프로젝트
• NousCoder-14B: Qwen3-14B를 기반으로 강화학습을 통해 훈련된 경쟁 프로그래밍 모델입니다. 모델 가중치, 오픈 RL 환경, 평가 도구 등 전체 스택이 공개되었습니다.
• nomos-1: Nous Research의 또 다른 주목할 만한 모델로, 지속적인 연구와 개발이 진행 중입니다.
• Atropos: 수천 개의 분산 워커에서 생성 작업을 안정적으로 조정하도록 설계된 프레임워크입니다.
• Forge Reasoning API: Nous Research의 추론 시간 AI 연구가 적용된 API로, Hermes 모델을 탑재한 Nous Chat 플랫폼에서 사용할 수 있습니다.
• Steering the Shoggoth (SMC): Sequential Monte Carlo 기법을 활용해 LLM의 출력을 정밀하게 제어하는 기술입니다. 특정 형식이나 스타일을 강제로 따르도록 제약 조건을 프로그래밍 방식으로 정의할 수 있습니다.
향후 전망: 개인 서버에 설치하기
Hermes 4.3과 같은 오픈소스 모델의 발전은 개인이나 소규모 조직이 자체 AI 인프라를 구축할 수 있는 가능성을 열어줍니다. 특히 Ollama, vLLM, llama.cpp와 같은 도구를 활용하면 비교적 간단하게 개인 서버에 모델을 배포할 수 있습니다. Hermes 4 시리즈 중 14B 모델은 소비자급 GPU(예: RTX 4090)에서도 구동이 가능하며, 70B 모델은 A100과 같은 데이터센터 GPU가 필요합니다. 향후 컨텐츠에서는 개인 서버에 직접 모델을 설치하고 Hermes Agent와 연동하는 실전 가이드를 자세히 다룰 예정입니다.