Develop/Machine Learning (2) 썸네일형 리스트형 GGUF 파일 정보 출력하기 Recap이전글에서 GGUF 파일 포맷 구조를 간단히 살펴보았다. 2024.01.31 - [Develop] - GGUF (Georgi Gerganov Unified Format) GGUF (Georgi Gerganov Unified Format)GGUF GGUF 는 Georgi Gerganov(@ggerganov)란 개발자가 만든 딥러닝 모델을 저장 용도의 단일 파일 포맷이다. GGML 라이브러리 기반의 런타임에서 주로 사용이 되고 있다. 현재는 주로 LLM 추론에 많이 활용이bitwise-life.tistory.com 이번 글에서는 GGUF의 구조를 C++ 코드 레벨로 살펴보고, 이 구조를 참고해서 GGUF 파일을 읽어서 내부 정보를 출력하는 스크립트를 만들어 볼 것이다. Header Header 구조.. GGUF (Georgi Gerganov Unified Format) GGUF GGUF 는 Georgi Gerganov(@ggerganov)란 개발자가 만든 딥러닝 모델을 저장 용도의 단일 파일 포맷이다. GGML 라이브러리 기반의 런타임에서 주로 사용이 되고 있다. 현재는 주로 LLM 추론에 많이 활용이 되고 있는걸로 보인다. 단일 파일이기 때문에 추론을 실행하기에 필요한 모든 정보들이 하나의 파일에 모두 담겨야한다. 크게 1) 모델의 Weight 텐서 값들과 2) 메타데이터가 Key-Value 형식으로 저장되어있다. 이 부분은 자세한건 뒤에서 설명을 한다. 여느 다른 ML라이브러리들과 달리 fp16 정밀도를 넘어서 8-bit, 6-bit, 5-bit, 4-bit, 3-bit 그리고 2-bit 양자 텐서타입까지 지원을 하고 있다. 2023년 하반기에 나타나더니 급속도로 .. 이전 1 다음
