[유튜브 쇼츠 자동화] : 2. 바이브코딩으로 파이프라인 구성하기

이전까지의 프로젝트에서 구현하지 못한 체계적인 파이프 라인을 다음과 같이 구성을 하였다

 

결국 바이브 코딩만 가능한 사람으로써 AI가 내 통제를 벗어나 디렉토리나 코드에 문제를 일으키는 경우가 잦았다

따라서 보통 함수까지는 구현하고 바이브 코딩을 한다고 하던데,,,,

아직 기술력 부족으로 그렇게 하지는 못했다

 

결국 작동 방식은 다음과 같다

 

1. 영상 소재 생성

2. 영상 프롬포트 생성

3. 영상 소재 프롬포트 분석

4. 이미지 생성

5. 이미지 생성 관리

6. 음성 생성

7. 음성 검증

8. 비디오 합성

9. 썸네일 생성

10. 업로드

 

---

1 : 영상 소재 생성

 

사실 이번 프로젝트에서 가장 고심을 많이한 부분이다. 

지난 '희원이 프로젝트'에서는 영상을 150개 가까이 만들었지만 외부 api에 의존해서 소재를 생성하는 자동화 공법을 택한 나머지 실패했다.

따라서 이번의 목표는

i) 영상을 무한개 생성하자

ii) 영상의 퀄리티는 일정하게

위 두 가지 였고 

LLM-as-a-Judge나 self-refine 등 여러가지 고민을 했었지만 낮은 vram과 시스템 사양등으로 철회하고 짧은 match_prompt 만으로 실제 6조개 정도의 서로 다른 영상, 9999개의 유의미하게 차이나는 영상 대본을 만들 수 있었다.

 

실제로 이 알고리즘은 영상의 제목, 내용, 썸네일등 다양하게 사용하고 있으며 숏폼의 특성상, 이전 내용과 이번 내용의 일 부 겹치는 정도로는 큰 무리가 없다고 판단하였다.

 

추가로 LLM-as-a-Judge나 self-refine 이 기술은 추후에 논문으로 작성해볼 예정이며 이 중 self-refine은 07_pipeline에서도 사용하였다.

---

2 : 영상 프롬포트 생성 + 3 : 영상 소재 프롬포트 분석

 

프롬포트 생성과 소재 생성은 겹치는 내용이 많아 PASS

 

---

4 : 이미지 생성 + 5 : 이미지 생성 관리

 

로컬 이미지 생성형 ai 사용으로 인터넷 연결이 불필요하다, 다만 고민을 한 점은 이게 jetson에서도 돌아가는 지 여부였는데 이 문제는 애초에 4060에서 먼저 발생하여, 조금 먼저 다루어 보겠다

 

가장 먼저 발생한 문제는 램 초과였다

필자의 노트북은 16gb * 2 램에 vram 4060 8gb mobile을 탑재했으나 wsl 구동 문제로 실제 사용 가능한 램은 20gb 수준이었다.(필자의 컴퓨터 사용 습관이나 최적화 문제도 존재한다)

따라서 이미지 11장 생성 시 killed가 발생하였다

그렇다고 이미지 모델을 off후 on하는 것은 ssd 수명과 생성 속도에 심각한 문제를 야기했는데, 이 문제는 생각보다 간단하게 해결되었다

그냥 이미지 생성후 20초 대기하면 해결되더라

 

이런 방식으로 jetson에서도 간단하게 구동이 가능했다

 

 

실제 이미지 생성시 사용량

추후 설명하겠지만

라즈베리 파이 +jetson 환경에서도 무리 없이 구동이 가능했다

 

그것이 클러스터니까...

 

 

 

 

 

 

 

 

 

 

 

 

실제로 생성해본 사진

prompt : A cat eating a acn of tuna

22초 걸렸고 네거티브 프롬포트는 사용하지 않았다

 

 

 

 

 

 

 

 

---

 

좀 더 자세한 알고리즘과 문의는 댓글로 남겨달라.