센스타임, SenseNova U1 오픈소스 공개

센스타임이 4월28일 SenseNova U1 시리즈 네이티브 이해·생성 통합 모델을 공식 발표하고 오픈소스로 공개했다.

SenseNova U1은 센스타임이 올해 3월 자체 개발한 NEO-unify 아키텍처를 기반으로 하며 단일 모델 구조 안에서 멀티모달 이해, 추론, 생성을 통합한 것이 특징이다.

NEO-unify 아키텍처는 기존 주류 방식인 단순 결합형 구조를 과감히 탈피했다. 시각 인코더(VE)와 변분 오토인코더(VAE)를 제거하고 통합된 표현 공간을 새롭게 구축했다. 또한 이를 각 계산 계층에 깊이 반영함으로써 모달리티 결합에서 네이티브 통합으로의 패러다임 전환을 실현했다.

SenseNova U1 시리즈 모델은 언어와 시각 정보를 하나의 통합된 복합체로 직접 모델링할 수 있다. 이를 통해 언어와 시각 정보 간의 효율적인 협업을 구현하고 이해 능력과 생성 능력을 동시에 강화한다. 동시에 풍부한 의미 정보를 유지하면서도 픽셀 단위의 시각적 충실도를 확보한다.

논리 추론과 공간 지능 영역에서도 SenseNova U1은 물리 세계의 복잡한 구조와 세밀한 관계를 깊이 이해할 수 있다. 향후에는 로봇을 위한 체화된 두뇌 역할도 수행할 수 있다. 단일 모델의 폐쇄 루프 안에서 복잡한 환경 인식, 논리적 추론, 정밀한 작업 수행에 이르는 전 과정을 완성함으로써 기술 및 산업 발전을 견인하는 핵심 기반이자 중요한 엔진이 될 전망이다.

오픈소스로 공개된 모델은 SenseNova U1의 경량화 버전인 SenseNova U1 Lite 시리즈다. 해당 시리즈는 두 가지 사양의 모델로 구성된다.

• SenseNova-U1-8B-MoT: 밀집형 백본 네트워크 기반 모델

• SenseNova-U1-A3B-MoT: MoE 백본 네트워크 기반 모델

자세한 정보는 GitHub 및 Hugging Face에서 확인할 수 있다.

GitHub: https://github.com/OpenSenseNova/SenseNova-U1

Hugging Face: https://huggingface.co/collections/sensenova/sensenova-u1

극강의 효율로 승부하다: 오픈소스 SOTA, 상용 모델에 맞서다

효율성은 통합 모델 아키텍처의 핵심 기술 경쟁력이다.

기존 멀티모달 모델은 시각 인코더와 언어 백본을 어댑터로 연결하는 방식이다. 이는 마치 서로 다른 언어를 사용하는 사람들이 하나의 작업 그룹을 구성한 것과 같다. 누군가는 이미지를 전담해 보고 이를 언어로 번역하고, 누군가는 문자를 이해해 추론하며 또 다른 누군가는 그 결과를 다시 디자인 명령으로 바꿔 이미지를 그려낸다. 하나의 작업을 완료할 때마다 정보는 서로 다른 구성원 사이를 오가야 한다. 이러한 과정은 가능하기는 하지만 대기, 오해, 정보 손실이 발생할 수밖에 없다. 이러한 손실을 보완하기 위해 모델은 더 큰 규모로 설계돼야 좋은 성능을 낼 수 있다.

SenseNova U1은 통합 표현 공간을 기반으로 구축된 모델이다. 이는 처음부터 여러 능력을 동시에 갖춘 한 사람에 더 가깝다. 이미지를 먼저 이해하고 이를 문자로 번역한 뒤, 다시 다른 시스템에 넘겨 이해시키는 방식이 아니다. 동일한 ‘사고 방식’ 안에서 이미지와 문자 등 서로 다른 정보를 직접 처리한다. 이미지와 언어는 더 이상 두 시스템 사이에서 이어달리기처럼 전달되는 것이 아니라 하나의 두뇌 안에서 자연스럽게 융합된다.

이를 통해 정보 흐름은 더 빨라지고, 이해는 더 직접적이며, 생성은 더 효율적으로 이뤄진다. 모델은 중간 변환 과정에서 발생하는 손실을 보완하기 위해 단순히 파라미터 규모를 키우는 방식에 의존하지 않는다. 대신 통합된 내부 표현을 통해 서로 다른 모달리티 정보를 더 압축적이고 고밀도 방식으로 조직한다.

간단히 말해 기존 아키텍처가 ‘여러 사람이 협업하며 단계마다 전달하는 방식’이라면, SenseNova U1은 ‘하나의 전능한 두뇌가 직접 이해하고 직접 표현하는 방식’에 가깝다. 중간 번역 과정이 줄어든 만큼 정보 손실은 낮아지고 상대적으로 더 간결한 모델 규모에서도 강력한 멀티모달 이해 및 생성 능력을 구현할 수 있다.

실험 결과는 이러한 접근 방식의 타당성을 입증했다. 이미지 이해, 이미지 생성 및 편집, 공간 지능, 시각 추론을 아우르는 여러 벤치마크 테스트에서 SenseNova U1 Lite는 동급 오픈소스 모델 중 SOTA 수준의 성능을 달성했다. 이를 통해 통합 멀티모달 이해 및 생성 모델의 새로운 기준을 제시했다. 특히 8B-MoT라는 비교적 작은 규모만으로도 일부 대형 상용 폐쇄형 모델에 도달하거나 이를 넘어서는 성능을 보이며 전 영역과 다양한 분야에서 강력한 경쟁력을 입증했다.

아래 두 세트의 비교 이미지는 SenseNova U1 Lite가 효율성 측면에서 지닌 뛰어난 강점을 더욱 직관적으로 보여준다. 일반적인 이미지 생성 테스트에서 SenseNova U1 Lite는 이미지 생성 품질 면에서 Qwen-Image 2.0 Pro, Seedream 4.5 등 대형 폐쇄형 모델에 견주는 성능을 보이며 상용 수준에 도달했다. 동시에 추론 응답 속도에서도 뚜렷한 우위를 나타냈다.

특히 난도가 매우 높고 오픈소스 모델이 그동안 우수한 성과를 내기 어려웠던 복잡한 인포그래픽 생성 작업에서도 SenseNova U1 Lite는 상용 모델에 준하는 수준을 보여줬다. 복잡한 인포그래픽의 레이아웃 구성과 텍스트 제어 측면에서도 강력한 역량을 입증했다.

아래 실제 사례는 SenseNova U1 Lite의 상용 수준 복합 인포그래픽 생성 능력을 보여준다.

센스타임은 현재의 기술 경로를 따라 지속적으로 스케일업을 진행하고 있으며 향후 더 큰 규모의 모델을 출시할 계획이다. 효율적인 네이티브 아키텍처를 기반으로 훨씬 낮은 컴퓨팅 비용으로 글로벌 최상위 모델 수준에 도달할 수 있을 것으로 기대한다.

업계 최초: 연속형 이미지·텍스트 창작 출력 구현

NEO-Unify 아키텍처의 강점을 바탕으로 SenseNova U1은 업계 최초로 연속형 이미지·텍스트 창작 출력을 구현했다. 단 한 번의 단일 모델 호출만으로도 더 높은 품질의 결과물을 생성할 수 있으며 기존 방식과 비교해 효율성을 크게 끌어올렸다.

SenseNova U1이 갖춘 네이티브 이미지·텍스트 이해 및 생성 능력은 이미지와 텍스트의 저수준 융합 신호를 문맥 속에 자연스럽고 완전하게 유지할 수 있게 한다. 이는 과거처럼 여러 모델을 직렬로 연결해 겨우 구현하던 방식과는 뚜렷이 구별된다. 이미지 간 스타일 일관성이 매우 높고, 통합된 표현 공간 안에서 효율적이고 연속적인 사고를 수행할 수 있다는 점이 강점이다.

오픈소스:

• GitHub: https://github.com/OpenSenseNova/SenseNova-U1

• Hugging Face: https://huggingface.co/collections/sensenova/sensenova-u1

• SenseNova U1 Skill도 사용할 수 있다.

https://github.com/OpenSenseNova/SenseNova-Skills 에서 예제 라이브러리를 확인하고, 프롬프트 작성 가이드를 참고할 수 있다. 복잡한 정보를 간단하게 바꾸고 딱딱한 문서를 흥미로운 이미지로 전환해 사용자의 Agent가 인포그래픽 생성 전문가가 되도록 지원한다.

온라인 체험

• 현재 office Raccoon에 탑재돼 있으며, ‘한 장으로 이해하기’ 기능을 클릭하면 바로 체험하고 사용할 수 있다.
https://office.xiaohuanxiong.com/

센스타임은 네이티브 통합 멀티모달 지능이 AGI로 향하는 필수 경로라고 보고 있다. 앞으로도 오픈소스 생태계 구축을 지속적으로 추진하고, 더 큰 파라미터 규모의 U1 시리즈 모델을 공개할 계획이다. 또한 커뮤니티의 다양한 사용자와 개발자들이 소중한 의견을 제시해, 지능형 상호작용의 미래를 함께 정의해 나가기를 기대한다.