文本生成圖片和圖片生成圖片已經(jīng)逐漸取代繪畫師和設(shè)計(jì)師了，你有沒有想過有一天文字和圖片還可以生成3D模型？科技的發(fā)展只有我們想不到，沒有AI做不到。那么對(duì)3d模型領(lǐng)域又會(huì)有哪些影響呢？手把手硬核AI教學(xué)，趕快收藏學(xué)習(xí)。
一、文本生成3d模型
在text to 3d（文本生成3d）和image to 3d（圖片生成3d）方向比較成熟應(yīng)用的有自動(dòng)生成3D模型的AI應(yīng)用，例如如下這個(gè)網(wǎng)站，可以根據(jù)圖片和文字生成180度的2.5D模型
而真正目前text to 3d比較成熟的開源框架是OpenAI發(fā)布的shap-e開源模型，不僅能根據(jù)文本和圖片來(lái)生成3d動(dòng)畫效果，而且還可以把生成的3d模型導(dǎo)出到3d編輯軟件里進(jìn)行編輯。
OpenAI Shap-e手把手硬核步驟教學(xué)
一、Shap-e介紹
github項(xiàng)目地址：
https://github.com/openai/shap-e
二、colab上部署Shap-e 復(fù)制并打開自動(dòng)執(zhí)行腳本：
https://colab.research.google.com/drive/1XvXBALiOwAT5-OaAD7AygqBXFqTijrVf?usp=sharing#scrollTo=7-fLWame0qJw按執(zhí)行步驟一步步執(zhí)行
三、參數(shù)修改
batch_size = 生成的數(shù)量
guidance_scale = 分辨率
prompt = 生成內(nèi)容指令
四、文件下載并使用編輯器進(jìn)行編輯使用
在左側(cè)文件夾里找到生成的文件并下載使用3d編輯器即可對(duì)模型進(jìn)行修改編輯
OpenAI發(fā)布的shap-e開源模型。
這就結(jié)束了？更炸裂的來(lái)了，接下來(lái)手把手演示如果通過圖片提示來(lái)生成3D動(dòng)畫效果，上車出發(fā)
二、圖片生成3d模型
請(qǐng)直接復(fù)制
import torchfrom shap_e.diffusion.sample import sample_latentsfrom shap_e.diffusion.gaussian_diffusion import diffusion_from_configfrom shap_e.models.download import load_model, load_configfrom shap_e.util.notebooks import create_pan_cameras, decode_latent_images, gif_widgetfrom shap_e.util.image_util import load_image
接下來(lái)找到第六步更改模型，替換圖片解析模型
無(wú)腦復(fù)制代碼
xm = load_model('transmitter', device=device)model = load_model('image300M', device=device)diffusion = diffusion_from_config(load_config('diffusion'))
別急，快看到終點(diǎn)了
準(zhǔn)備一張圖片上傳到content文件夾里，圖片格式.png .jpg
粘貼第四段代碼到標(biāo)注處
繼續(xù)無(wú)腦復(fù)制如下代碼
batch_size = 4guidance_scale = 3.0# To get the best result, you should remove the background and show only the object of interest to the model.image = load_image("example_data/corgi.png")latents = sample_latents(batch_size=batch_size,model=model,diffusion=diffusion,guidance_scale=guidance_scale,model_kwargs=dict(images=[image] * batch_size),progress=True,clip_denoised=True,use_fp16=True,use_karras=True,karras_steps=64,sigma_min=1e-3,sigma_max=160,s_churn=0,)
修改參數(shù)
batch_size = 生成的數(shù)量guidance_scale = 分辨率img = 圖片保存路徑
別走，最后一步老鐵
復(fù)制如下代碼到最后一步render_mode = 'nerf' # you can change this to 'stf' for mesh renderingsize = 64 # this is the size of the renders; higher values take longer to render.cameras = create_pan_cameras(size, device)for i, latent in enumerate(latents):images = decode_latent_images(xm, latent, cameras, rendering_mode=render_mode)display(gif_widget(images))
別憂慮點(diǎn)擊執(zhí)行，就會(huì)得到image to 3d模型了，照常按著以上步驟去編輯吧
just do it!
