[Diffusion] diffusion model
·
AI/Diffusion
https://arxiv.org/pdf/1503.03585문제의식저자들은 좋은 확률 모델이 갖춰야할 조건을 명시적으로 나열한다.모델 구조의 극한 유연성정확한 샘플링다른 분포와의 간단한 곱셈로그 우도를 싸게 평가기존 모델은 이를 동시에 만족하지 못한다. 가우시안과 같은 tractable 모델은 (2)~(4)를 만족하지만 (1)을 포기하고, flexible 모델은 (1)을 얻는 대신 나머지 중 일부를 포기한다.아이디어통계물리와 통계학에는 쉬운 분포에서 어려운 분포로 여러 단계에 걸쳐 천천히 이동하는 도구(AIS)가 존재한다. 둘 다 마르코프 체인으로 분포를 조금씩 변형하면서, 경로 전체에 대한 importance weight로 정규화 상수를 추정한다. 한 번에 건너뛰면 importance weight의 분산..
[Diffusion] 마르코프 체인
·
AI/Diffusion
Diffusion 이해를 위한 사전 지식 41. 마르코프 체인(Markov chain)1.1 마르코프 성질다음 상태가 현재 상태에만 의존하고, 그 이전의 상태와는 무관한 성질이다. 직관적으로 현재가 과거의 모든 정보를 요약하고 있다는 의미이며 식으로 쓰면 아래와 같다.$q(x^{(t)} |x^{(t-1)},x^{(t-2)},...,x^{(0)})=q(x^{(t)}|x^{(t-1)})$1.2 전이 커널(transition kernel)전이 확률 예시 내일 날씨가 오늘 날씨에만 달려 있다고 가정하면, "오늘 맑음 → 내일 맑음 0.8, 내일 비 0.2" 같은 확률표가 전이 확률에 해당한다 현재 상태에서 다음 상태로 넘어갈 확률 분포 $q(x^{(t)}|x^{(t-1)})$를 전이 확률이라 하며, 상태 공간이..
[Diffusion] ELBO
·
AI/Diffusion
Diffusion 이해를 위한 사전 지식 3들어가기 전생성 모델이 하고 싶은 일은 결국 실제 데이터분포 $p_{\text{data}}(x)$를 알아내는 것이다. 하지만 이 분포는 직접 볼 수 없고, 실제 다룰 수 있는 것은 그 분포에서 뽑힌 샘플(데이터셋)이다. 따라서 파라미터 $\theta$를 가진 모델 $p_\theta(x)$를 세우고 이 모델이 실제 분포를 최대한 닮도록 만드는 방향으로 접근한다.앞서 본 KL divergence로 두 분포의 차이를 측정할 수 있고, 실제 데이터 분포와 모델 사이의 KL을 줄이는 것은 데이터에 대한 로그 우도를 최대화하는 것과 같다. 그래서 학습의 목표는 데이터 하나에 대해 $\log p_\theta(x)$를 크게 만드는 것이 된다.문제는 복잡한 데이터를 표현하기 위..
[Diffusion] Importance Sampling
·
AI/Diffusion
Diffusion 이해를 위한 사전 지식 2어떤 분포 p에서 기대값을 구할 때, p에서 직접 샘플을 뽑기 어렵거나 비효율적일 때, 다른 분포 q에서 샘플을 뽑은 뒤 가중치를 곱해 보정하는 기법$$\mathbb{E}_{x\sim p}[f(x)] = \int f(x)\,p(x)\,dx$$구하고자 하는 값은 $x$가 분포 $p$를 따라 무작위로 나올 때 $f(x)$의 기댓값이다.$f(x)$의 기댓값은 각 $x$에서의 함수값 $f(x)$ 와 $x$가 나올 가능성(확률 밀도) $p(x)$를 곱해 모든 $x$에 대해 더한(가중 평균한) 값이다.$$\int f(x)\,\frac{p(x)}{q(x)}\,q(x)\,dx = \mathbb{E}_{x\sim q}\left[f(x)\,\frac{p(x)}{q(x)}\righ..
[Diffusion] 정보 이론(KL divergence)
·
AI/Diffusion
Diffusion 이해를 위한 사전 지식 11.1 정보량$$I(x) = -\log_2 p(x)$$놀람의 정도. 일어날 확률이 낮은 사건일수록 그 사건이 일어났다는 사실이 더 많은 정보를 담고 있다는 의미이다.1.2 엔트로피$$H(X) = -\sum_{x \in \mathcal{X}} p(x) \log_2 p(x)$$확률 변수의 평균 정보. 불확실성의 크기이다.양면이 공정하게 나오는 동전은 엔트로피가 최대(1)이 되고, 앞면만 나오는 동전은 엔트로피가 0이 된다.2. 두 변수의 정보2.1 결합 엔트로피정의$$H(X, Y) = -\sum_{x, y} p(x, y) \log_2 p(x, y)$$두 사건 x, y가 동시에 일어났을 때의 정보량은 $I(x, y) = -\log_2 p(x, y)$이다. 결합 엔트로..
Adam 구현 분석(PyTorch)
·
AI
github주소: pytorch/…/cuda사전 지식CUDA 프로그래밍1. Host/ Device / KernelHost: CPU 부분device: GPU 부분kernel: GPU에서 실행되는 함수kernel이 일반 함수와 다른 점은 한 번 호출(launch)하면 같은 코드를 수만 개의 스레드가 동시에 실행한다. 스레드마다 자기 번호가 다르기 때문에, 각자 배열의 다른 부분을 처리하게 만들 수 있다. 이때 CPU는 launch만 걸어두고 결과를 기다리지 않고 다음 job을 수행한다.(비동기)2. 스레드 계층: grid → block → thread 그리고 warp__global__ void add(float* a, float* b, float* c) { int i = blockIdx.x * bloc..
LoRA 코드 분석(HuggingFace)
·
AI
https://tae-jun.tistory.com/30 LoRAhttps://arxiv.org/pdf/2106.09685 거대 언어 모델을 적은 비용으로 파인튜닝하기 위한 방법서론많은 NLP 응용은 하나의 대규모 사전학습 모델을 여러 다운스트림 태스크에 맞게 파인튜닝하는 방식에 의tae-jun.tistory.com https://tae-jun.tistory.com/31 LoRA 코드 분석(Microsoft)microsoft LoRA 코드 GitHub - microsoft/LoRA: Code for loralib, an implementation of "LoRA: Low-Rank Adaptation of Large Language Models"Code for loralib, an implementation..
LoRA 코드 분석(Microsoft)
·
AI
microsoft LoRA 코드 GitHub - microsoft/LoRA: Code for loralib, an implementation of "LoRA: Low-Rank Adaptation of Large Language Models"Code for loralib, an implementation of "LoRA: Low-Rank Adaptation of Large Language Models" - microsoft/LoRAgithub.comLoRA 이론GPT-2, RoBERTa, DeBERTa-v2에 대한 정의만 존재레이어 정의$$h=W_{0}x + (\alpha/r)\cdot B(Ax)$$$$W_0: d\times k\ \ \ \ B: d\times r\ \ \ \ A: r\times k\ \ ..
LoRA
·
AI
https://arxiv.org/pdf/2106.09685 거대 언어 모델을 적은 비용으로 파인튜닝하기 위한 방법서론많은 NLP 응용은 하나의 대규모 사전학습 모델을 여러 다운스트림 태스크에 맞게 파인튜닝하는 방식에 의존한다. 파인튜닝은 모델의 모든 파라미터를 업데이트하므로, 새 모델도 원래 모델과 파라미터 수가 같다. 모델이 커지면서 이는 GPT-2, RoBERTa-large에서는 불편함 수준이었지만, GPT-3에서는 태스크마다 175B 사본을 저장하고 배포해야 하는 심각한 문제가 되었다.모델파라미터 수RoBERTa-base125MRoBERTa-large355MGPT-2-large774MGPT-3175B이를 해결하기 위해 일부 파라미터만 적응시키거나 태스크별 외부 모듈을 학습하는 방법이 연구되었다. 이..
배치 정규화
·
AI
https://arxiv.org/pdf/1502.03167WhyInternal Covariate Shift딥러닝 학습 중 앞 레이어의 파라미터가 업데이트될 때마다 뒷 레이어의 입력 분포가 계속 바뀐다. 이를 Internal Covariate Shift(내부 공변량 이동)라 한다. 각 레이어는 매 스텝마다 달라진 분포에 적응해야 하므로 학습이 불안정해지고, 이를 보완하기 위해 낮은 학습률과 신중한 초기화가 강제된다.Gradient vanishing / Exploding특히 sigmoid처럼 포화 구간이 있는 활성함수를 쓸 경우, 분포가 불안정하면 입력값이 포화 구간으로 빠져들기 쉽다. sigmoid 도함수의 최댓값은 0.25이므로, 역전파 시 체인룰에 의해 레이어를 거칠수록 기울기가 기하급수적으로 작아져 ..