본문 바로가기

전체 글

(3)
css만 사용해서 입력시 버튼이 나타나게 만들기 (feat. :placeholder-shown, peer) input 태그가 있는 페이지를 만들다 보면 input 태그에 입력유무에 따라 다른 요소의 css가 변경되게 하고 싶을 때가 있다. 그 때 tailwindcss의 peer 클래스와 :placeholde-shown 가상 클래스를 함께 응용하여 css만으로 구현할 수 있다. 구체적인 예시를 가져왔다. 이메일을 '입력하는 칸'과 '계속' 버튼이 있다고 하자. 내가 하고 싶은건 '계속' 버튼은 입력이 없을 때에는 안보이게 하고 싶다. 즉, 사용자가 한글자라도 입력을 할 때 '계속'버튼을 활성화하고 싶다. 이 때 tailwindcss의 peer와 가상클래스 :placeholder-shown을 응용하여 구현할 수 있다. 먼저 TailwindCSS의 peer로 input 요소의 입력 상태를 관찰하고, input 요소..
GGUF 파일 정보 출력하기 Recap이전글에서 GGUF 파일 포맷 구조를 간단히 살펴보았다. 2024.01.31 - [Develop] - GGUF (Georgi Gerganov Unified Format) GGUF (Georgi Gerganov Unified Format)GGUF GGUF 는 Georgi Gerganov(@ggerganov)란 개발자가 만든 딥러닝 모델을 저장 용도의 단일 파일 포맷이다. GGML 라이브러리 기반의 런타임에서 주로 사용이 되고 있다. 현재는 주로 LLM 추론에 많이 활용이bitwise-life.tistory.com 이번 글에서는 GGUF의 구조를 C++ 코드 레벨로 살펴보고, 이 구조를 참고해서 GGUF 파일을 읽어서 내부 정보를 출력하는 스크립트를 만들어 볼 것이다. Header Header 구조..
GGUF (Georgi Gerganov Unified Format) GGUF GGUF 는 Georgi Gerganov(@ggerganov)란 개발자가 만든 딥러닝 모델을 저장 용도의 단일 파일 포맷이다. GGML 라이브러리 기반의 런타임에서 주로 사용이 되고 있다. 현재는 주로 LLM 추론에 많이 활용이 되고 있는걸로 보인다. 단일 파일이기 때문에 추론을 실행하기에 필요한 모든 정보들이 하나의 파일에 모두 담겨야한다. 크게 1) 모델의 Weight 텐서 값들과 2) 메타데이터가 Key-Value 형식으로 저장되어있다. 이 부분은 자세한건 뒤에서 설명을 한다. 여느 다른 ML라이브러리들과 달리 fp16 정밀도를 넘어서 8-bit, 6-bit, 5-bit, 4-bit, 3-bit 그리고 2-bit 양자 텐서타입까지 지원을 하고 있다. 2023년 하반기에 나타나더니 급속도로 ..