반갑습니다. 박민규입니다.

AI 양자화

gyu-litch — Fri, 19 Jun 2026 06:33:20 +0900

결론 부터 말하자면

Qwen3.6 35B-A3B BF16을

Qwen3.6 35B-A3B fp8로 양자화하며

71gb -> 36gb에 dgx spark 한 기기로 성공했다

현재 제작 중인 레이첼의 전체적인 프로세스에서 파인튜닝 이후 양자화를 거쳐야

토큰 속도를 보장받을 수 있다고 생각하기 때문이며 대략 30tok/s 이상이 나오는 듯하다

레이첼은 정해진 기능만 수행하는 비서가 아닌 기능을 스스로 만드는 비서가 되길 원했다

레이첼은 정해진 기능만 수행하는 비서가 아니다

필요한 기능을 스스로 조립하는 비서다

나는 레이첼에게 하나의 도구만 쥐여주지 않았다

크롤링하는 블록
화면을 분석하는 블록
웹사이트를 여는 블록
코드를 작성하는 블록

마치 스크래치처럼
필요할 때마다 블록을 꺼내 엮는것이다

가령 특정 웹사이트의 크롤링을 부탁한다면

셀레니움으로 긁어올 수도 있지만
만약 실패한다면
화면을 캡쳐한 뒤 분석 AI에게 넘기면 되는것이다

하나의 길이 막히면
레이첼은 다른 길을 만든다

앞으로의 문제 해결 방식은 하나가 아닐것이며
이것이 레이첼의 핵심이 될것이다

MSI - Dgx Spark 구매 후기

gyu-litch — Thu, 18 Jun 2026 01:03:51 +0900

2월에 Mac mini 64gb 를 구매하려고 300을 썼으나

램 값 폭등으로 3개월 간 돈 묶인 사람이 되었고

결국 주문 취소를 당해서 슬퍼하던 찰나

어차피 쿠다 쓰고 싶은데 냅다 질러버렸다.

이전에 사용하던 건 Lattepanda n150이라

성능 체감이 확실히 나긴 할 것 같다

누누이 이야기 하지만 기계공학과 맞다

AI하고 있고

양자화랑 파인튜닝 쪽 파고 있지만

내 전공은 로봇 공학과이기에

실제로 여러 플젝도 진행해보고 있다

아무튼 개인적으로 개인 비서라는 것에 대한 필요성을 강하게 느꼈었고

그 결과 레이첼을 만들었었는데

N150에서 돌리기엔 부담이 컸고

무엇보다 밤에 시끄러워서 잘 수 가 없었다

아무튼 현재 사용하는 모델은

Qwen3-Coder-Next - FP8

Qwen3.6-35B-A3B- BF16

사용하면서 개인비서 만들어보고 있으니 다음 글부터는 클로드와 이야기 하던 걸 여기에 풀어보려고 한다

시간 되면 개인 포트폴리오도 여기에 작성해보고자 한다.

아무튼 빚은 확실히 생겼으니

더 열심히 일해야 하는 이유가 생긴 것이다.

[유튜브 쇼츠 자동화] : 2. 바이브코딩으로 파이프라인 구성하기

gyu-litch — Fri, 16 Jan 2026 00:21:53 +0900

이전까지의 프로젝트에서 구현하지 못한 체계적인 파이프 라인을 다음과 같이 구성을 하였다

결국 바이브 코딩만 가능한 사람으로써 AI가 내 통제를 벗어나 디렉토리나 코드에 문제를 일으키는 경우가 잦았다

따라서 보통 함수까지는 구현하고 바이브 코딩을 한다고 하던데,,,,

아직 기술력 부족으로 그렇게 하지는 못했다

결국 작동 방식은 다음과 같다

1. 영상 소재 생성

2. 영상 프롬포트 생성

3. 영상 소재 프롬포트 분석

4. 이미지 생성

5. 이미지 생성 관리

6. 음성 생성

7. 음성 검증

8. 비디오 합성

9. 썸네일 생성

10. 업로드

1 : 영상 소재 생성

사실 이번 프로젝트에서 가장 고심을 많이한 부분이다.

지난 '희원이 프로젝트'에서는 영상을 150개 가까이 만들었지만 외부 api에 의존해서 소재를 생성하는 자동화 공법을 택한 나머지 실패했다.

따라서 이번의 목표는

i) 영상을 무한개 생성하자

ii) 영상의 퀄리티는 일정하게

위 두 가지 였고

LLM-as-a-Judge나 self-refine 등 여러가지 고민을 했었지만 낮은 vram과 시스템 사양등으로 철회하고 짧은 match_prompt 만으로 실제 6조개 정도의 서로 다른 영상, 9999개의 유의미하게 차이나는 영상 대본을 만들 수 있었다.

실제로 이 알고리즘은 영상의 제목, 내용, 썸네일등 다양하게 사용하고 있으며 숏폼의 특성상, 이전 내용과 이번 내용의 일 부 겹치는 정도로는 큰 무리가 없다고 판단하였다.

추가로 LLM-as-a-Judge나 self-refine 이 기술은 추후에 논문으로 작성해볼 예정이며 이 중 self-refine은 07_pipeline에서도 사용하였다.

2 : 영상 프롬포트 생성 + 3 : 영상 소재 프롬포트 분석

프롬포트 생성과 소재 생성은 겹치는 내용이 많아 PASS

4 : 이미지 생성 + 5 : 이미지 생성 관리

로컬 이미지 생성형 ai 사용으로 인터넷 연결이 불필요하다, 다만 고민을 한 점은 이게 jetson에서도 돌아가는 지 여부였는데 이 문제는 애초에 4060에서 먼저 발생하여, 조금 먼저 다루어 보겠다

가장 먼저 발생한 문제는 램 초과였다

필자의 노트북은 16gb * 2 램에 vram 4060 8gb mobile을 탑재했으나 wsl 구동 문제로 실제 사용 가능한 램은 20gb 수준이었다.(필자의 컴퓨터 사용 습관이나 최적화 문제도 존재한다)

따라서 이미지 11장 생성 시 killed가 발생하였다

그렇다고 이미지 모델을 off후 on하는 것은 ssd 수명과 생성 속도에 심각한 문제를 야기했는데, 이 문제는 생각보다 간단하게 해결되었다

그냥 이미지 생성후 20초 대기하면 해결되더라

이런 방식으로 jetson에서도 간단하게 구동이 가능했다

실제 이미지 생성시 사용량

추후 설명하겠지만

라즈베리 파이 +jetson 환경에서도 무리 없이 구동이 가능했다

그것이 클러스터니까...

실제로 생성해본 사진

prompt : A cat eating a acn of tuna

22초 걸렸고 네거티브 프롬포트는 사용하지 않았다

좀 더 자세한 알고리즘과 문의는 댓글로 남겨달라.

[유튜브 쇼츠 자동화] : 1. 부업으로 돈을 벌어보자

gyu-litch — Mon, 12 Jan 2026 14:35:54 +0900

어렸을 때 유튜버가 꿈일 때도 있었다.

그런데 로봇을 만들기로 하니 유튜브랑 자연스럽게 멀어지더라

그러던 중 이런 알고리즘이 눈에 들어왔다

이런거 한 번 쯤은 보았다

그런데 보통 이런 영상들을 보면 자동화라는 이름 아래에서 100% 자동화를 본 적이 없다.

또한 이미지 생성에 여러 생성형 인공지능(Gemini, ChatGPT등)을 사용하고 API 연동을 하기 때문에 필연적으로 지출이 발생하는 경우가 많았다.

나는 저런게 싫은데 말이지....

그래서 직접 만들어 보기로 했다. (글을 작성하는 시점에서는 완성 되었다.)

다만 몇가지 제약 조건을 걸었다

1. 흥미를 끌 수 있는 소재를 사람이 제작하지 않고 로컬 AI로 구동할 것

2. 제작에 불필요한 지출(API 포함)이 없을 것 - 단 노트북 구매, 전기세 등은 무시하자

3. 이미지와 목소리가 존재하며 숏폼 뿐만 아니라 롱폼도 구현 가능할 것

4. 하루에 영상을 10개 이상 만들 수 있을 것

5. 대본작성, 인코딩, 편집, 업로드 ,이미지 복사 등등 전부 100% 자동화 할것

6. 고사양이지 않을 것 - 라즈베리 파이로 작동이 가능할 것

7. 업로드를 제외한 전 과정에 인터넷이 없는 로컬 생성이 가능할 것

이 법칙을 준수하여 완성하긴 했다....

디자인은 못 먹겠더라

아무튼 다음과 같은 사양으로 완성하였다

라즈베리 파이 5 8gb x 1 - admin 노드

라즈베리 파이 5 16gb x 2 - worker 1,2 - 로컬 AI 中 램을 많이 필요로 하는 것을 담당

젯슨 오린 나노 8gb x 1 - worker 3 - 이미지 생성

다이소 문어발 콘센트 x 2

ip time 공유기 x 1 - 유선랜 속도 100mbps (구형이다)

총 가격은 대략 100만원 정도이긴 한데, 이건 그냥 클러스터 만들고 싶었던 욕심일 뿐이고

실제 필자의 노트북을 사용하면 10분에 한 개 씩 만들어 낸다. - 사실 라즈베리 파이를 여러개 쓰고 싶었다

한 시간에 영상 1개를 만들어 내며, 영상의 퀄리티는 아래 채널을 확인 바란다.

https://youtube.com/shorts/QNeDwQ_2NsM?si=sw7EYTCpm_wFxZLp

채널의 형태도

중년의 건강, 연애, 종교등 원하는 것은 얼마든지 만들 수 있으며 영상의 개수는 최대 6조개 까지 겹치는 부분 없이 제작이 가능하다.

순수 로컬 생성이라 업로드를 제외하면 인터넷 연결도 필요하지 않는다, 다만 토큰 갱신의 문제가 있긴 한데....

이거는 2주에 한 번 클릭만 하면 되는 것이기도 하고, 원한다면 자동화가 불가능 하지는 않다....

좀 더 자세한 알고리즘과 문의는 댓글로 남겨달라.

'자유공모 금상' 제 23회 임베디드 소프트웨어 경진대회 후기 - 설몽

gyu-litch — Fri, 26 Dec 2025 01:09:50 +0900

1. 왜 하필 설몽이냐?

설몽은 雪夢 에서 착안한 것으로 시각장애인의 눈(目)은 손과 같고 점자에 포개어 올리는 모습이 마치 눈(雪)과 같다고 생각했다, 전체 뜻은 눈으로 꿈을 이룬다라는 뜻

2. 설몽으로는 현재 어떤 것을 하고 있는가?

변리사님과 특허 출원 중에 있다, 대략 1월 초 중으로 특허 출원이 완료 될 듯하다. 특허가 나오면 매커니즘부분도 자세히 작성해보겠다.

3. 설몽으로 수상 할 것을 예상했는가?

이전에 한이음에도 출전을 해서 탈락의 고배를 마셨다, 처음 설몽을 보는 사람들에게 말로 설명하면 이해를 못할 듯 했는데, 역시 아무도 이해를 못 했다. ESW 예선 합격 소식을 듣고 본선에서 시연을 하고 나서 기대를 많이 하긴 했지만 1등을 할지는 몰랐다, 그래서 더 기뻤다

4. 설몽에서 맡은 역할은?

알고리즘, 코딩, 하드웨어 설계, 캐드 모델링, 3D 프린팅, 서류 작성 을 포함해서 거의 다 했다. 사실 전자, 전기 부분을 제외하고는 모두 1인 개발에 가까웠다.

4.1 설몽의 매커니즘

1) 외장 GPU 추론의 경우

발표 할때는 API 개념으로 설명하긴 했지만 처음 구상은 외장 GPU 개념이었다.

작동 방식은 단순하다. 외장 그래픽 카드 쪽 PC(랩탑)에 미리 필요한 AI 를 설치해 두고 설몽 쪽에서 필요한 연산을 대신 하는 것이다.

이때 SSH(블루투스등의 다른 방식도 문제 없다)로 질문(데이터)를 입력받아 랩탑에서 추론을 하여 데이터를 전송하는 것이다.

실제로는 별거 없는데, 다들 보여주니까 놀랐다

파이썬으로 구현하였고, 질문 기능의 LLM 의 경우 Ollama 서버로 통신하였다

2) 글자 OCR 기능

오픈소스 사용했다 그냥,

그런데 실제 사용해보면 꽤나 오류가 생긴다

사람의 글자라는게 실제로는 . 이나 / 같이 눈을 감고 적으면 잘 못 긋는 경우가 다수 생긴다

이런 느낌

그래서 실제로는 다음과 같이 구현했다

(1) 문제가 apple 이라면

(2) 정답에 apple 가 개수에 맞게 있고 각 순서에만 맞으면 나머지 오타는 모두 인정

(3) 받아쓰기 난이도 설정으로 오타의 허용도 조절가능- 최대 레벨의 경우 apple의 개수와 순서에 영어 오탈자를 허용하지 않음

태블릿이 2008년도에 출시되었던가 그랬던 거라

정확도는 포기해야 했다.

5. 후회하는 부분은?

플립 플랍이라는 파트는 미완성으로 남았다. 게으름에서 비롯된 것이라 팀원에게 미안할 따름이다. 코일만 20만원 정도 샀는데 새걸로 남아있다.

6. 내년 설몽 계획은?

설몽은 여전히 발전 가능성이 존재한다. 설몽 2는 설몽의 문제를 일부 보완하여 솔레노이드 메커니즘으로 돌아갈 듯 싶다, 단 모터 1개에 5글자 매커니즘으로 변경된다.

7. 내년 프로젝트는?

대략 준비하고 있는 프로젝트는

1) 유튜브 자동 생성 클러스터 - 90% 완성

2) 로봇 손 - 시작도 못함

3) 4족 보행 - 시작도 못함

4) 논문 - 대충 쓰긴 씀

5) 특허 - 1월 중 완료

6) 국방 창업 경진 대회 - 50% 진행

이 정도다, 내년엔 연애가 가능할지도 모르겠다

일본은 언제 간다냐

9/2 왜 빵을 만들었나

gyu-litch — Tue, 2 Sep 2025 08:35:18 +0900

https://www.youtube.com/watch?v=mjYGMN9jhjE

1. 990원 빵만 있나-> 그렇지 않다 다른 빵도 있고 다른 가격의 소금빵도 있다

2. 빵 값은 본인이 아닌 글로우서울이 책정하였다

3. 소금빵이 990원만 있나?

ㄴ 아니다, 1300원도 있다, 적자는 보지 않는다

4.글로우 서울은 2027년 IPO를 목표로 한다

ㄴ단 슈카는 글로우 서울의 주가를 하나도 들고 있지 않다

5. 본론 : 빵 가격이 비싼 이유는 무엇인가(자영업자가 빵 가격을 내리기 어려운 이유는?)

5.1 슈카의 생각 :

i) 높은 원재료 가격 (구조적인 이유)

ii) 낮은 판매량(판매량이 낮으니 가격은 올라갈 수 밖에 없다)

i)의 원인 :복잡한 유통구조, 영세화, 낮은 생산성, 식량주권

i)의 방안 : 낮은 가격에 재료를 공급

ii)의 원인 : 한국은 빵 소비량이 낮은 나라이다, 日의 1/4

ii)의 방안 : 빵 수요를 확대하자

5.2. i)과 ii)에서 순환이 발생, Wage-price spiral

5.3. ii)에서 낮은 빵 수요를 올리면 돈을 벌 것이다

6. 슈카의 생각 :

낮은 빵 가격이 유지가 되면 Wage-price spiral의 선순환이 발생, 박리 다매로 돈을 벌 수 있겠군

7. 스타트업을 포함한 모든일은 실행의 여부가 매우 중요하다

8. 빵의 판매가 사회 실험은 아니다

9. 슈카는 원재료 생산 기업이 되고 싶다

10. 결론 : 자영업자는 폭리를 취하지 않는다, 구조적인 문제를 해결하고 싶다, ETF 브레드는 돈을 버는 스타트업이다

[Jetson orin nano] : 1. 환경설정이 어려워요

gyu-litch — Tue, 29 Jul 2025 22:50:26 +0900

시작이 반이라면

환경 세팅은 60프로 정도인 것 같다

Jetson orin nano Jetpack 6.2 기준 pytorch 설치에 관해 겪었던 어려움들을 적어본다

1. 그래서 내 Cuda 버전이 몇이라고?

엔비디아 Gpu 가속에 Cuda는 원수이면서 친구이다

다행히 젯슨 오린 나노의 os 제트팩에는 쿠다 버전이 명시되어 있다

쿠다 12.6

이것에 맞는 파이토치 관련 패키지 설치를 해보자

이전에

『

python -m pip install --upgrade pip setuptools wheel && \
python -m pip uninstall -y torch torchvision torchaudio && \
python -m pip install --no-deps --force-reinstall \
--index-url https://pypi.jetson-ai-lab.dev/jp6/cu126 \
torch==2.7.0 \
torchvision==0.22.0 \
torchaudio==2.7.0 \
"numpy<2" 』 에잇 귀찮아라며 이걸 복붙하니 문제가 생겼다

서버가 먹통이란다

결국 미리 다운받아둔 whl 파일을 사용하기로 했다

torch-2.8.0-cp310-cp310-linux_aarch64.whl
torchaudio-2.8.0-cp310-cp310-linux_aarch64.whl
torchvision-0.23.0-cp310-cp310-linux_aarch64.whl

이걸 웹에서 찾아서 설치하자

정상적으로 설치가 완료되었다

결론 : 저 whl 파일을 3개 찾아서 설치하면 큰 문제 없이 gpu 가속이 가능한 것을 볼 수 있다