利用多模態解決室內設計問題

步驟1. 上傳空間影像，並提問Bing
Prompt: 請仔細評論這個客廳空間的優勢與劣勢，如果有一個需要改善的地方，將會是哪裡? 並請提出改善意見，謝謝。
步驟2. 擷取Bing的回答
步驟3. 針對Bing的回答，學生回覆是否同意，並說明理由。產生自己的反思與學習。
步驟4. 請Bing針對改進事項，在生成相對應的設計方案影像。同時同學應選出最喜歡的方案，並說明理由。


Bing Chat | 教材範例： #多模態AI

請問照片可能的位置在哪裡?

Bard確實是免費版的AI霸主

Bard 回答成果：
根據您提供的圖片資訊，照片顯示的是夜晚時，一座房子位於湖中。根據這個資訊，照片可能的拍攝地點包括：
任何有湖泊的地方，例如公園、城市、森林等。
有人工湖泊的地方，例如公園、度假村等。
有小型湖泊的地方，例如鄉村、山區等。
根據 Google 搜尋結果，這張照片可能拍攝於台中公園的湖心亭。台中公園是台中市最大的公園，位於台中市中心，內有人工湖泊、湖心亭、噴泉等景點。根據搜尋結果，這張照片曾經在 Mobile01 的討論區中被分享，並標題為「XF1024, XF1855 18及24端, 夜拍含星芒比較」。這表明照片很可能是在台中公園拍攝的。
此外，照片中的湖泊水面平靜，沒有波紋，這表明照片可能是在風平浪靜的夜晚拍攝的。台中公園的湖泊水面較為平靜，因此這張照片很可能是在台中公園拍攝的。
因此，根據以上資訊，照片可能的位置是台中公園的湖心亭。不過，由於照片中沒有任何可識別的地標，因此也不能完全排除其他可能的拍攝地點。

#google Bard AI 更新紀錄

OpenAI 又向AGI推進一大步

GPT-4 Turbo重點提升：
1. 128K 字符上下文，提升近300頁書本文稿能力，與GPT-4 32K比較，提升4倍。
2. 採用JSon檔案提升推理記憶、能力，程式開發更穩定、快速。
3. 更新的知識，訓練的語料更新至2023年4月。
4. 多模態，支援文字、影像、聲音等多模態資訊的推理能力。
5. 客製化，發表一個GPT builder作為客製介面，有機會讓非程式員有機會創作出自己的特製GPT。
6. 更快速的推理能力，推理速率提升兩倍。
最後價格部分：3X less input tokens, 2X less output tokens.

GPT-4 Turbo YT發表會 | Building AI SWARMS | GPT-4 Turbo Documentation

透過將生成式AI技術應用到這些垂直領域,初創公司能開發出對行業有重大價值的創新解決方案。這是非常具有潛力的投資方向。

Generative AI’s Act Two

紅衫資本一年前成功注意到生成式AI即將發跡，今天更預判GAI已由語言模型進化為藝術、圖像、音樂等創意生成工具，能善用的公司將快速成長獲得先機。
*** 同時舉出創新初創公司重要範例:
醫療領域:利用生成式AI進行更精準的病理圖像分析、藥物設計、臨床診斷。例如PathAI就是使用深度學習分析病理切片。
媒體製作:提供自動圖像/視頻生成與編輯工具,加速和簡化流程。例如Runway AI讓藝術家可以利用AI創作。
遊戲開發:自動生成遊戲關卡、角色、素材等,降低開發成本。例如Anthropic開發自動化遊戲測試平台。
零售業:提供產品設計和視覺化建議,優化消費者體驗。例如Intello Labs使用圖像分析優化食品包裝。
法律科技:利用生成式AI做legal tech和法律文件自動生成。例如LegalRobot提供法律文件生成服務。

原文 | Bing chat 重點摘要（繁中版）

有關室內施工場景的影像識別，結果我非常滿意!
微軟Bing影像辨識 與室內設計 評論應用!

多模態生成式AI

Multimodal AI: the basics多模態生成式AI
Let’s start with modes. Think of a mode like a human sense. You might see and taste a carrot, for instance. You would be able to identify that you were eating a carrot faster than if you had to eat the carrot blindfolded. You could also identify the carrot if you could see but not taste it. If it was not carrot shaped (eg puree) you might still guess it was carrot from the colour. But if you could eat that puree as well, you could get confirmation from the flavour. That’s multimodal AI in a nutshell. It’s a combination of different inputs, allowing the learning intelligence to infer a more accurate result from multiple inputs.
我們先從模式開始說起。你可以把模式想像成人類的感官。例如，你可能會看到和嚐到一根胡蘿蔔。如果你不戴眼罩吃胡蘿蔔，你會比較快地辨認出你在吃胡蘿蔔。即使你不能嚐到，只能看到胡蘿蔔，你也可以辨認出它。如果胡蘿蔔不是原來的形狀（例如泥狀），你可能還是可以從顏色猜出它是胡蘿蔔。但如果你能同時吃到那個泥狀的東西，你就可以從味道得到確認。這就是多模態人工智慧的概念。它是不同輸入的組合，讓學習的智慧能夠從多個輸入推斷出更準確的結果。

微軟新版Bing搜尋已注入GPT-4技術 識別圖像、複雜搜尋互動行為沒問題

教材AutoGen is a new software framework from Microsoft 🔥

可定制的代理人：您可以根據自己的需求來調整這些代理人。他們可以基於人工智慧、您使用的特定工具，或者甚至包括人類作為團隊的一部分。
對話解決任務：這些代理人可以彼此“聊天”，以解決問題並找到解決方案。
不同的模式：該框架允許以各種方式結合人工智慧、人類輸入和工具來處理任務。例如，您可以讓一個人工智慧代理人和一個人類一起合作。

微軟AutoGen官網
詳解網站
#AI, #AutoGen, #Agents

古埃及墓葬建築的參數化形狀文法

主要貢獻：
提供了一種系統化的方法來研究古埃及墓葬建築，並且能夠生成、重建和擴展墓葬設計，為古埃及建築研究提供了新的工具和視角。
通過形狀文法分析，揭示了古埃及建築的結構和設計規律，有助於深入理解古埃及建築的設計語言和建造方式。 提出了可能進一步研究古埃及不同時期和不同地點的建築形式的可能性，以及可以擴展到其他建築類型研究的可能性。
總結而言，該研究為古埃及墓葬建築的形態研究提供了新的方法和見解，有望為古埃及建築研究開創新的方向和深度。

原文
ChatGPT精讀互動全歷程
使用Claude 2 閱讀長篇檔案，以Text檔為例：

Design as Dialogue - a New Design Framework

論文的結論重點如下：
設計是對話過程：
設計被視為一種對話，一種溝通和共識的過程。對話不僅發生在設計者內部，也發生於設計者與他人、使用者以及設計對象之間。
對話中的重要元素：
指出了對話過程中重要的元素，包括溝通、意義、解譯、理解等，這些元素對於達成設計共識非常關鍵。 設計的多元性：
強調了設計的多元性，涵蓋了工業設計、設計過程、設計學科等多個層面。設計不僅僅是形式與功能，也與文化、溝通、社會等密切相關。

原文
ChatGPT精讀互動全歷程

監督式學習與生成式AI已經明顯影響設計產業

--從兩個AI對話，體驗生成式AI輔助對英文新知識閱讀的影響
--AI主要發展：監督式學習與生成式AI的影響，尤其重要
--監督式學習應用於工地監工的發展，即將到來
--文生圖01：確實能綜合多設計風格，生成全新的設計創作
--文生圖02：確實能依據Chekpoint, Lora 等預訓練模型，產生極具真實的空間影像

講稿

MidJourney 最強對手

2023/07/27 Stability.ai 更新 SDXL 1.0 模型。
更真實人物生成，更清晰邊界像素，更自然光線對比…
HuggingFace.co Refine model:
HuggingFace.co Model :
Google colab:
Clipdrop Image Maker:
Clipdrop demo page:
SDXL Various Styles keywords:
500 Rabbits SDXL style Edition :
Civitai.com DreamShaper XL1.0(6.46gb)下載 (挑顯示卡):
全新安裝SDXL1.0 (挑顯示卡)
#GAI, #StableDiffusion

搞懂「建築能效標示」綠色金融讓利直接到手

112年七月一日台灣開始推動「建築能效標示」，不但要求建築師都要會，相關產業也都會有所連動。最直接的是「空調」、「動力設施」、「建築外殼」以及「其他，如建材等」等產業。因此「室內設計」業也是首當其衝。
實質誘因：
政府為了2050要達到全面「永續近零碳排」，在建築業引入綠色金融當作市場誘因。類似「綠建築」採用容積獎勵方式；未來只要達1級能效建築即可，取得綠色金融讓利，如降低貸款利率或提高貸款成數等。如此，獲利者不再只是建商，終端住戶貸款也能享受綠色金融。
2020年版綠建材解說與評估手冊 l| 2022年版綠建築評估手冊-建築能效評估系統(EEWH-BERS)
#永續， #法規

GAN AI Generate Floor Plan

擁有「清除」「生成」「隨機」三種功能。
白色:「戶外」黑色:「室內」綠色:「入口」紅色:「窗戶」4種平面。

使用者只需要在左側安排好所需平面，分別定義上述4空間，再點選「生成」即可產生帶有顏色與家具的設計平面圖。

生成成果顏色表如下：

　　1.客廳 2.臥室 3.浴室 4.走道 5.廚房 6.廚櫃

AI生成平面配置網頁 | 研究說明網頁2019

3 simple steps to creating a creative site plan.

簡單三步驟完成基地綠化平面圖
Demo 02


教材與範例 | 成果影像集

No rush, reach the final goal through iterations.

Steps of the iterations by ChatGPT:
　- Coding a p5.js program for a big heart and fill with circuit diagram in color red.
　- The code show two mistakes, one is stroke color should be white and circuit diagram is too simple.
　- Please use the image from“ https://www.hallmarknameplate.com/wp-content/uploads/2016/07/circuit-board-1.jpeg” as circuit giagram
　- Please display the image in the red heart shape only
　- Good, I need add a red edge with 5 pixels of the heart shape.
　- done

Detail process of ChatGPT
Final P5.js project
#Generative AI, #coding, #code interpreter

流程如上圖：
1. 利用SketchUp快速建模，只將最初始概念造型完成即可(我花20分鐘)。
2. 3D建模的目的主要能快速產生各視角的渲染圖
3. 獲得需要的正立面渲染圖後，使用ChaosOrchestrator的手作模型提示詞，生成各種手作模型概念圖，可以反覆採用''平衡''或''提示詞''優先等設定，讓Stable Diffusion (SD)多發揮不同造型細節，但主要架構均與初始模型相近。

設計師全程掌控設計方向，AI只扮演文生圖、圖生圖的高效作業

4. 獲得手作模型後，使用iKUN9527的現代住宅提示詞，生成各種方案與環境設計圖，同樣地可以反覆採用''平衡''或''提示詞''優先等設定，讓SD多發揮不同造型細節，但主要造型方案均與初始模型相近。

5. 設計師全程掌控設計方向，生程式AI只扮演文生圖、圖生圖的高效作業。SD依據設計師的初始模型，產生外框線稿LineArt，生成手作模型，再依據手作模型產生外框線稿LineArt，生成最後方案與環境。

6. AI確實能扮演快速提供概念影像的助理角色。

生成式AI教材 | ChaosOrchestrator 手作模型 | iKUN9527 方案生成

#生成式AI, #設計新流程

ControlNet-v1-1 細部說明

AI渲染給一般學習者的支持與挑戰

1. Photopea插件官網
2. SD 之Photopea插件安裝
3. Stable Diffsion WebUI之Photopea去背程序
4. 圖檔疊加(圖層均為一般Normal疊加)，並修圖
5. 送給生成式AI再做一次(1) Txt2Img圖生圖
6. 第1次生成式AI成果
7. 安裝StylePile並下載遊戲畫風模型hoppagames
8.第2次生成式AI，採用 hoppagames模型咒語生成圖像
9. 送回 Photopea 疊加(圖層1:overlay,圖層2: soft light 的疊加)
10.Upscale提升精緻度

使用AI訓練好的畫風模型，渲染效能直上天際。

教材 #AI渲染, #Rhino+GH+AI渲染
Style of HOPA Games模型(AI訓練4萬步)

AI渲染用戶主機端最新教材

1. Rhino+Grasshopper建模
2. Rhino輸出2D透視圖
3. AI渲染引擎
4. ControlNet 設定
5. Stable Diffsion AI渲染引擎設定
6. 提示詞Prompt
7. AI渲染成果
8.AI局部生成 AI in painting

用戶主機端優勢：完全免費無限制使用。缺點：用戶端需要算力。

教材 #AI渲染, #Rhino+GH+AI渲染
Photopea Stable Diffusion WebUI Extension PS插件

ChatGPT擅長的5種工作

CHAPTERS
1、概論 Introduction
2、規範 Guideline
3、總結、提取 Summary
4、推断 Inferring
5、變換 Transforming
6、擴展 Expanding
7、聊天機器人Chatbot

課程 / 中文導讀 | 簡光正課程
#prompt 工程

scribblediffusion.com 官網

scribblediffusion.com手繪渲染

咒語prompt:
A school dormitory floor plan for 6 students, space layout for Entrance, Common area,Bedrooms, ,Shared bathroom and a raised toilet, ultra realistic, 8k

影像教材(英文) | scribble範例 #AI手繪渲染

StableDiffusion+Controlnet渲染

Outline:
AI渲染引擎 AUTOMATIC1111/stable-diffusion-webui and sd-webui-controlnet
工具與程序
SD-webui安裝程序
Controlnet差件安裝與生成模型下載
AI 渲染實作成果(Txt2Img文字生成影像)
Prompt+Controlnet:Canny模型Img2Img，渲染影像

工具 AUTOMATIC1111 | sd-webui-controlnet
教材 Control AI Architecture with ControlNet | Create Realistic Render from Sketch Using AI | How AI Image Generators Can Revolutionize Interior Design | #AI渲染教材