생성 AI 모델 성능 극대화 비밀, 데이터 없이 해결법 공개

기업들은 점점 더 복잡해지는 AI 환경에서 어떻게 효율성을 높일 수 있을까요? 특히, 고비용의 재훈련 없이도 강력한 AI 모델을 구축하는 방법이 있다면 이는 왜 지금 중요한가요? 최근 Sakana AI의 혁신적인 진화 알고리즘인 M2N2는 이러한 문제를 해결할 수 있는 새로운 방법을 제시합니다. 이 기술은 기존의 모델 병합 기법을 개선하여 고비용과 데이터 요구 사항을 줄이는 동시에 다중 능력을 가진 에이전트를 생성합니다.

M2N2는 모형 병합 기법으로서, 여러 전문 AI 모델의 지식을 하나로 통합하여 더 유능한 모델로 만드는 기술입니다. 이는 특정 데이터를 사용한 미세 조정 대신 여러 모델의 매개변수를 동시에 결합함으로써 이루어집니다. 이 과정은 원래의 훈련 데이터에 접근할 필요 없이 상당한 양의 지식을 한 자산에 통합할 수 있게 합니다.
👉 업무 속도를 3배 높이는 AI 비밀

M2N2는 자연에서 영감을 받은 세 가지 핵심 기능을 통해 더 넓은 범위를 탐색하고 보다 효과적인 모델 조합을 발견할 수 있습니다. 첫째, 고정된 병합 경계를 제거하여 유연한 "분할 점"과 "혼합 비율"을 사용해 모델을 나누고 결합합니다. 둘째, 경쟁을 통한 인구 다양성 관리를 통해 각기 다른 틈새 전문가를 식별하고 활용합니다. 셋째, "매력 점수"를 사용해 상호 보완적인 강점을 가진 모델 쌍을 결합함으로써 최종 병합 모델의 품질과 효율성을 향상시킵니다.

연구자들은 M2N2를 다양한 도메인에 적용하여 그 효과와 다재다능함을 입증했습니다. MNIST 데이터셋에서 신경망 기반 이미지 분류기를 처음부터 개발하는 작은 규모 실험에서는 최고의 테스트 정확도를 달성했습니다. 또한 LLMs에서는 두 개의 전문 모델 간 결합을 통해 복잡한 문제 해결 능력을 갖춘 단일 에이전트를 생성하였습니다.
👉 기사 원문 읽어보기
마지막으로 확산 기반 이미지 생성 모형 병합 실험에서도 일본어와 영어 프롬프트 모두에서 높은 품질 이미지를 생성할 수 있는 양면적 능력을 갖춘 결과물을 얻었습니다.

M2N2와 같은 기술은 "모델 융합"이라는 보다 광범위한 추세 속 일부로 간주됩니다. 연구자들은 조직들이 끊임없이 진화하고 융합되는 AI 모형 생태계를 유지하게 될 미래를 예상합니다. 그러나 조직 차원에서 이러한 동적이고 자체 개선 가능한 AI 생태계를 구축하기 위한 가장 큰 장애물은 기술적이라기보다는 조직적이라는 점입니다. 기업들은 보안과 규정을 준수하면서도 효과적으로 흡수될 수 있는 모형들을 식별해야 할 것입니다.