AI 양자화

결론 부터 말하자면 

 

Qwen3.6 35B-A3B BF16을

Qwen3.6 35B-A3B fp8로 양자화하며 

71gb -> 36gb에 dgx spark 한 기기로 성공했다

 

현재 제작 중인 레이첼의 전체적인 프로세스에서 파인튜닝 이후 양자화를 거쳐야 

토큰 속도를 보장받을 수 있다고 생각하기 때문이며 대략 30tok/s 이상이 나오는 듯하다

 

레이첼은 정해진 기능만 수행하는 비서가 아닌 기능을 스스로 만드는 비서가 되길 원했다

 

레이첼은 정해진 기능만 수행하는 비서가 아니다

필요한 기능을 스스로 조립하는 비서다

나는 레이첼에게 하나의 도구만 쥐여주지 않았다

크롤링하는 블록
화면을 분석하는 블록
웹사이트를 여는 블록
코드를 작성하는 블록

마치 스크래치처럼
필요할 때마다 블록을 꺼내 엮는것이다

가령 특정 웹사이트의 크롤링을 부탁한다면

셀레니움으로 긁어올 수도 있지만
만약 실패한다면
화면을 캡쳐한 뒤 분석 AI에게 넘기면 되는것이다

하나의 길이 막히면
레이첼은 다른 길을 만든다

앞으로의 문제 해결 방식은 하나가 아닐것이며
이것이 레이첼의 핵심이 될것이다