代码编织梦想

aigc笔记-爱代码爱编程

1--完整代码 SD_Inpainting 2--简单代码 import PIL import torch import numpy as np from PIL import Image from tqdm import tqdm import torchvision from diffusers import AutoencoderKL, UNe

aigc笔记-爱代码爱编程

1--前言         以论文《High-Resolution Image Synthesis with Latent Diffusion Models》  开源的项目为例,剖析Stable Diffusion经典组成部分,巩固学习加深印象。 2--DDIM 一个可以debug的小demo:SD_DDIM         以文生

aigc笔记-爱代码爱编程

1--前言         以论文《High-Resolution Image Synthesis with Latent Diffusion Models》  开源的项目为例,剖析Stable Diffusion经典组成部分,巩固学习加深印象。 2--UNetModel 一个可以debug的小demo:SD_UNet​​​​​​​

aigc笔记-爱代码爱编程

1--前言         以论文《High-Resolution Image Synthesis with Latent Diffusion Models》  开源的项目为例,剖析Stable Diffusion经典组成部分,巩固学习加深印象。 2--FrozenCLIPEmbedder         在默认提供的 txt2img

aigc笔记-爱代码爱编程

1--加载方式         1. 加载全参数(.ckpt)         2. 加载LoRA(.safetensors) 2--简单实例 import sys sys.path.append("/mnt/dolphinfs/hdd_pool/docker/user/hadoop-waimai-aigc/liujinfu/Codes

aigc笔记-爱代码爱编程

1--DDIM介绍 原论文:DENOISING DIFFUSION IMPLICIT MODELS 2--核心代码 # ddim的实现 def compute_alpha(beta, t): beta = torch.cat([torch.zeros(1).to(beta.device), beta], dim=0) # beta -&g

aigc笔记-爱代码爱编程

1--MoE模型         MoE模型全称是混合专家模型(Mixture of Experts, MoE),其主要将多个专家神经网络模型组合成一个更大的模型。         MoE模型的核心组成有两部分:第一部分是多个专家网络模型,每个专家网络模型往往是独立的,且分别用于不同的问题;第二部分是门控网络,用于确定使用哪些专家网络模型,一般

aigc笔记-爱代码爱编程

1--相关讲解 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS LoRA 在 Stable Diffusion 中的三种应用:原理讲解与代码示例 PEFT-LoRA 2--基本原理         固定原始层,通过添加和训练两个低秩矩阵,达到微调模型的效果; 3--简单代码

aigc笔记-爱代码爱编程

1--完整项目链接 Cond_diffusion_Free_guide 2--代码 from typing import Dict, Tuple import torch import torch.nn as nn from torch.utils.data import DataLoader from torchvision import t

aigc笔记-爱代码爱编程

目录 1--加载模型 2--半精度推理 3--固定随机种子 4--更改扩散步数 5--设置negative_prompt 1--加载模型         以下代码使用 from_pretrained() 来加载预训练模型,使用参数cache_dir来指定下载模型的存储地址; from diffusers import Di

aigc笔记-爱代码爱编程

1--核心代码         6D位姿一般指平移向量和旋转向量,Maya软件中关节点的6D位姿指的是相对平移向量和欧拉旋转向量;         为了按比例融合两个Pose,首先需要将欧拉旋转向量转换为旋转矩阵,在将旋转矩阵转换为四元数,利用球面线性插值实现Pose的融合,融合后的四元数需要重新转换为欧拉旋转向量,整个流程如下:欧拉旋转向量→

aigc笔记-爱代码爱编程

目录 1--Maya数据解析 2--FBX SDK导出6D数据 3--6D数据映射和Maya可视化 完整项目代码:Data-Processing/FBX_SDK_Maya 1--Maya数据解析 在软件Maya中直接拖入FBX文件,可以播放和查看人体各个骨骼关节点的数据:         对于上图来说,平移X、平移Y和平移Z表示关节点

aigc笔记-爱代码爱编程

1--概述         1. 自回归 TransFormer 规定Token只能看到自身及前面的Token,因此需生成一个符合规定的Attention Mask;(代码提供了两种方式自回归Attention Mask的定义方式);         2. 使用Cross Attention实现条件模态和输入模态之间的模态融合,输入模态作为Qu

aigc笔记-爱代码爱编程

1--VQVAE模型         VAE 模型生成的内容质量不高,原因可能在于将图片编码成连续变量(映射为标准分布),然而将图片编码成离散变量可能会更好(因为现实生活中习惯用离散变量来形容事物,例如人的高矮胖瘦等都是离散的;)         VQVAE模型的三个关键模块:Encoder、Decoder 和 Codebook;    

aigc笔记-爱代码爱编程

目录 1--CVAE模型 2--代码实例 1--CVAE模型 简单介绍:         与VAE类似,只不过模型的输入需要考虑图片和条件(condition)的融合,融合结果通过一个 encoder 映射到标准分布(均值和方差),从映射的标准分布中随机采样一个样本,样本也需要和条件进行融合,最后通过 decoder 重构图

aigc笔记-爱代码爱编程

目录 1--VAE模型 2--代码实例 1--VAE模型 简单介绍:         通过一个 encoder 将图片映射到标准分布(均值和方差),从映射的标准分布中随机采样一个样本,通过 decoder 重构图片;         计算源图片和重构图片之间的损失,具体损失函数的推导可以参考:变分自编码器(VAE) 2-