浏览有关小城镇建设的网站6,wordpress免费精品主题,狠狠做狠狠干免费网站,河北省邢台市建设工程网站全球各行业对 3D 世界和虚拟环境的需求呈指数级增长。3D 工作流程是工业数字化的核心#xff0c;开发实时模拟来测试和验证自动驾驶车辆和机器人#xff0c;操作数字孪生来优化工业制造#xff0c;并为科学发现铺平新的道路。
如今#xff0c;3D 设计和世界构建仍然是高度… 全球各行业对 3D 世界和虚拟环境的需求呈指数级增长。3D 工作流程是工业数字化的核心开发实时模拟来测试和验证自动驾驶车辆和机器人操作数字孪生来优化工业制造并为科学发现铺平新的道路。
如今3D 设计和世界构建仍然是高度手动的。虽然 2D 艺术家和设计师已经拥有了辅助工具但 3D 工作流程仍然充满了重复、乏味的任务。
为场景创建或查找对象是一个耗时的过程需要长期磨练的专业 3D 技能例如建模和纹理化。正确放置对象以及将 3D 环境艺术引导至完美需要数小时的微调。
为了减少手动、重复性任务并帮助创作者和设计师专注于工作中富有创意和乐趣的方面NVIDIA 推出了众多 AI 项目例如用于生成式AI/
人工智能的 变革
借助 ChatGPT我们现在正在体验变革各种技术水平的个人都可以使用日常语言与高级计算平台进行交互。大模型(LLM) 变得越来越复杂当像 ChatGPT 这样的用户友好界面让每个人都可以使用它们时它成为历史上增长最快的应用推出后仅两个月就超过了 1 亿用户。现在每个行业都计划利用人工智能的力量进行广泛的应用例如药物发现、自主机器和虚拟助手。
最近我们尝试了 OpenAI 的病毒式 ChatGPT 和新的 GPT-4 大型多模态模型以展示开发可为NVIDIA Omniverse中的虚拟世界快速生成 3D 对象的自定义工具是多么容易。OpenAI 联合创始人 Ilya Sutskever 在GTC 2023上与 NVIDIA 创始人兼首席执行官黄仁勋的炉边聊天中表示与 ChatGPT 相比GPT-4 标志着“在许多方面都有相当大的改进” 。
通过将 GPT-4 与Omniverse DeepSearch一种智能 AI应用能够搜索未标记 3D 资产的海量数据库相结合我们能够快速开发一个自定义扩展通过简单的基于文本的提示检索 3D 对象并将它们自动添加到3D 场景。
AI生成3D内容
NVIDIA Omniverse3D 应用程序开发平台中的这一有趣实验向开发人员和技术美术人员展示了快速开发利用生成式 AI 来填充现实环境的自定义工具是多么容易。最终用户只需输入基于文本的提示即可自动生成和放置高保真对象从而节省创建复杂场景通常所需的数小时时间。
从扩展生成的对象基于通用场景描述(USD) SimReady 资产。SimReady 资产是物理上精确的 3D 对象可以在任何模拟中使用并且其行为就像在现实世界中一样。
获取有关 3D 场景的信息
一切都从 Omniverse 中的场景开始。用户可以使用 Omniverse 中的铅笔工具轻松圈出一个区域输入他们想要生成的房间/环境类型例如仓库或接待室然后单击一下即可创建该区域
创建 ChatGPT 提示 ChatGPT提示由四部分组成系统输入、用户输入示例、助手输出示例和用户提示。
让我们从适合用户场景的提示的各个方面开始。这包括用户输入的文本以及场景中的数据。
例如如果用户想要创建一个接待室他们会指定类似“这是我们会见客户的房间。确保有一套舒适的扶手椅、沙发和咖啡桌。” 或者如果他们想要添加一定数量的项目他们可以添加“确保至少包含 10 个项目”。
该文本与场景信息相结合例如我们将在其中放置项目作为用户提示的区域的大小和名称。
“接待室7 x10 米原点为( 0.0 , 0.0 , 0.0 )。这是我们会见客户
的房间。确保有一套舒适的扶手椅、沙发和咖啡桌”
将用户的文本与场景细节相结合的想法非常强大。在场景中选择一个对象并以编程方式访问其详细信息比要求用户编写提示来描述所有这些详细信息要简单得多。我怀疑我们会看到很多利用这种文本场景到场景模式的 Omniverse 扩展。
除了用户提示之外我们还需要使用系统提示和一两次训练来启动 ChatGPT。
为了创建可预测的、确定性的结果人工智能根据系统提示和示例专门返回一个 JSON其中所有信息都以明确定义的方式格式化以便可以在 Omniverse 中使用。
以下是我们将发送的四部分提示。
系统提示
这为人工智能设置了约束和指令 您是一个区域生成专家。在给定一定大小的区域后您可以生成适合该区域的物品列表并将它们放置在正确的位置。 您在一个三维空间中操作使用 X、Y、Z 坐标系。其中X 代表宽度Y 代表高度Z 代表深度。坐标 (0.0, 0.0, 0.0) 表示默认的空间原点。 您从用户那里接收到区域的名称、X 和 Z 轴上的尺寸以厘米为单位、区域的原点即区域中心点。 您的回答只需生成包含以下信息的 JSON 文件 area_name区域名称X区域在 X 轴上的坐标Y区域在 Y 轴上的坐标Z区域在 Z 轴上的坐标area_size_X区域在 X 轴上的尺寸厘米area_size_Z区域在 Z 轴上的尺寸厘米area_objects_list区域中所有物品的列表 对于每个物品您需要存储以下信息 object_name物品名称X物品在 X 轴上的坐标Y物品在 Y 轴上的坐标Z物品在 Z 轴上的坐标 每个物品的名称应包含适当的形容词。 请记住物品应该放置在区域内以创建最有意义的布局并且它们不应重叠。所有物品必须位于区域尺寸的边界内永远不要将物品放置在距离原点超过区域长度或深度的一半的位置。还要注意物品应根据区域的原点分布在整个区域内您也可以使用负值来正确显示物品因为区域的原点始终位于区域的中心。 请记住您只需生成 JSON 代码不需要其他内容。这非常重要。 用户输入示例 这是用户可能提交的内容的示例。请注意它是场景数据和文本提示的组合。 “接待室7 x10m原点为 ( 0.0 , 0.0 , 0.0 )。这是我们会见客户的房间 。确保有一套舒适的扶手椅、沙发和咖啡 桌” 辅助输出示例
这提供了人工智能必须使用的模板。请注意我们如何描述我们期望的JSON。
{area_name: Reception,X: 0.0,Y: 0.0,Z: 0.0,area_size_X: 700,area_size_Z: 1000,area_objects_list: [{object_name: White_Round_Coffee_Table,X: -120,Y: 0.0,Z: 130},{object_name: Leather_Sofa,X: 250,Y: 0.0,Z: -90},{object_name: Comfortable_Armchair_1,X: -150,Y: 0.0,Z: 50},{object_name: Comfortable_Armchair_2,X: -150,Y: 0.0,Z: -50} ]
} 连接到 OpenAI
该提示通过 Python 代码从扩展发送到 AI。这在 Omniverse Kit 中非常简单只需使用最新的O penAI Python 库的几个命令即可完成。请注意我们正在将系统输入、示例用户输入和我们刚刚概述的示例预期助理输出传递给 OpenAI API。变量“response”将包含来自 ChatGPT 的预期响应。
# Create a completion using the chatGPT model response openai.ChatCompletion.create(modelgpt-3.5-turbo,# if you have access, you can swap to modelgpt-4,messages[{role: system, content: system_input},{role: user, content: user_input},{role: assistant, content: assistant_input},{role: user, content: my_prompt},])# parse response and extract texttext response[choices][0][message][content] 将 ChatGPT 的结果传递到 Omniverse DeepSearch API 并生成场景
然后扩展程序会解析 ChatGPT JSON 响应中的项目并将其传递到 Omnivere DeepSearch API。DeepSearch 允许用户使用自然语言查询搜索存储在 Omniverse Nucleus 服务器中的 3D 模型。
这意味着例如即使我们不知道沙发模型的确切文件名我们也可以通过搜索“Comfortable Sofa”来检索它这正是我们从 ChatGPT 中获得的。
DeepSearch 能够理解自然语言通过向其询问“舒适的沙发”我们会得到一份项目列表我们乐于助人的人工智能图书馆员从我们当前资产库中选择的资产中确定了最适合的项目。它在这方面出奇地好所以我们经常可以使用它返回的第一个项目但当然我们建立了选择以防用户想要从列表中选择某些内容。
从那里我们只需将对象添加到舞台即可。
将 DeepSearch 中的项目添加到 Omniverse 阶段
现在 DeepSearch 已返回结果我们只需要将对象放入 Omniverse 中即可。在我们的扩展中我们创建了一个名为 place_deepsearch_results() 的函数它处理所有项目并将它们放置在场景中。
def place_deepsearch_results(gpt_results, query_result, root_prim_path):index 0for item in query_result:# Define Prim stage omni.usd.get_context().get_stage()prim_parent_path root_prim_path item[‘object_name’].replace( , _)parent_xForm UsdGeom.Xform.Define(stage, prim_parent_path)prim_path prim_parent_path / item[‘object_name’].replace( , _)next_prim stage.DefinePrim(prim_path, Xform)# Add reference to USD Assetreferences: Usd.references next_prim.GetReferences()references.AddReference(assetPathyour_server://your_asset_folder item[‘asset_path’])# Add reference for future search refinement config next_prim.CreateAttribute(DeepSearch:Query, Sdf.ValueTypeNames.String)config.Set(item[‘object_name’])# translate primnext_object gpt_results[index]index index 1x next_object[X]y next_object[Y]z next_object[Z]
此方法用于放置项目迭代我们从 GPT 获得的 query_result 项目使用 USD API 创建和定义新原语根据 gpt_results 中的数据设置其转换和属性。我们还将 DeepSearch 查询保存在美元的属性中以便以后我们想再次运行 DeepSearch 时可以使用它。请注意assetPath“your_server//your_asset_folder”是一个占位符应替换为执行 DeepSearch 的文件夹的真实路径。 使用 DeepSearch 交换项目
然而我们可能不喜欢第一次检索到的所有项目。因此我们构建了一个小型配套扩展程序允许用户浏览类似的对象并只需单击即可交换它们。借助 Omniverse可以非常轻松地以模块化方式构建因此您可以通过其他扩展轻松扩展您的工作流程。
这个配套扩展非常简单。它采用通过 DeepSearch 生成的对象作为参数并提供两个按钮来从相关 DeepSearch 查询中获取下一个或上一个对象。例如如果 USD 文件包含属性“DeepSearch:Query Modern Sofa”它将通过 DeepSearch 再次运行此搜索并获得下一个最佳结果。当然您可以将其扩展为包含所有搜索结果图片的可视化 UI类似于我们用于一般 DeepSearch 查询的窗口。为了使这个示例简单我们只选择了两个简单的按钮。
请参阅下面的代码其中显示了增加索引的函数以及实际根据索引操作对象交换的函数replace_reference(self) 。
def increment_prim_index():if self._query_results is None:return self._index self._index 1if self._index len(self._query_results.paths):self._index 0self.replace_reference()def replace_reference(self):references: Usd.references self._selected_prim.GetReferences()references.ClearReferences()references.AddReference(assetPathyour_server://your_asset_folder self._query_results.paths[self._index].uri)
请注意如上所述路径“your_server://your_asset_folder”只是一个占位符您应该将其替换为执行 DeepSearch 查询的 Nucleus 文件夹。
使用 DeepSearch 将灰色沙发替换为棕色沙发
这展示了如何通过结合 LLM 和 Omniverse API 的力量可以创建增强创造力和加快流程的工具。
从 ChatGPT 到 GPT-4
OpenAI 的新 GPT-4 的主要进步之一是其在大型语言模型中增强的空间意识。
我们最初使用ChatGPT API它基于GPT-3.5-turbo。虽然 GPT-4 提供了良好的空间感知但它提供了更好的结果。您在上面视频中看到的版本使用的是 GPT-4。
GPT-4 相对于 GPT-3.5 在解决复杂任务和理解复杂指令方面有了很大的改进。因此在设计文本提示“指导人工智能”时我们可以更具描述性并使用自然语言
我们可以给人工智能非常明确的指令例如
“每个对象名称都应该包含一个适当的形容词。”“请记住对象应该放置在该区域中以创建尽可能最有意义的布局并且它们不应该重叠。”“所有物体都必须在区域大小的范围内切勿将物体放置在距原点超过该区域长度 1/2 或深度 1/2 的位置。”“还要记住对象应该放置在相对于区域原点的整个区域上并且您也可以使用负值来正确显示项目因为区域的原点始终位于区域的中心。该地区。”
人工智能在生成响应时正确遵循这些系统提示的事实尤其令人印象深刻因为人工智能表明对空间意识以及如何正确放置物品有很好的理解。使用 GPT-3.5 执行此任务的挑战之一是有时对象会在房间外或奇怪的位置生成。
GPT-4 不仅将物体放置在房间的正确边界内而且还逻辑地放置物体床头柜实际上会出现在床的一侧咖啡桌将放置在两个沙发之间等等。
构建您自己的 ChatGPT 支持的扩展
虽然这只是人工智能连接到 3D 空间后可以做什么的一个小演示但我们相信它将为场景构建之外的各种工具打开大门。开发人员可以在 Omniverse 中构建人工智能驱动的扩展用于照明、相机、动画、角色对话和其他优化创作者工作流程的元素。他们甚至可以开发工具将物理附加到场景并运行整个模拟。 文章转载自： http://www.morning.leyuhh.com.gov.cn.leyuhh.com http://www.morning.lsqmb.cn.gov.cn.lsqmb.cn http://www.morning.mtqqx.cn.gov.cn.mtqqx.cn http://www.morning.tdqhs.cn.gov.cn.tdqhs.cn http://www.morning.fhqsm.cn.gov.cn.fhqsm.cn http://www.morning.kpbq.cn.gov.cn.kpbq.cn http://www.morning.crqbt.cn.gov.cn.crqbt.cn http://www.morning.nrgdc.cn.gov.cn.nrgdc.cn http://www.morning.hfxks.cn.gov.cn.hfxks.cn http://www.morning.qgwpx.cn.gov.cn.qgwpx.cn http://www.morning.nfpkx.cn.gov.cn.nfpkx.cn http://www.morning.wjlbb.cn.gov.cn.wjlbb.cn http://www.morning.wsyq.cn.gov.cn.wsyq.cn http://www.morning.fslrx.cn.gov.cn.fslrx.cn http://www.morning.jnbsx.cn.gov.cn.jnbsx.cn http://www.morning.cdlewan.com.gov.cn.cdlewan.com http://www.morning.jfqqs.cn.gov.cn.jfqqs.cn http://www.morning.jksgy.cn.gov.cn.jksgy.cn http://www.morning.sbrxm.cn.gov.cn.sbrxm.cn http://www.morning.wsnjn.cn.gov.cn.wsnjn.cn http://www.morning.mkpkz.cn.gov.cn.mkpkz.cn http://www.morning.gxwyr.cn.gov.cn.gxwyr.cn http://www.morning.tbnn.cn.gov.cn.tbnn.cn http://www.morning.fbnsx.cn.gov.cn.fbnsx.cn http://www.morning.kcrw.cn.gov.cn.kcrw.cn http://www.morning.bndkf.cn.gov.cn.bndkf.cn http://www.morning.dgpxp.cn.gov.cn.dgpxp.cn http://www.morning.npmpn.cn.gov.cn.npmpn.cn http://www.morning.mkpkz.cn.gov.cn.mkpkz.cn http://www.morning.wdpt.cn.gov.cn.wdpt.cn http://www.morning.lchtb.cn.gov.cn.lchtb.cn http://www.morning.bpmtl.cn.gov.cn.bpmtl.cn http://www.morning.bkpbm.cn.gov.cn.bkpbm.cn http://www.morning.chhhq.cn.gov.cn.chhhq.cn http://www.morning.blfll.cn.gov.cn.blfll.cn http://www.morning.tmcmj.cn.gov.cn.tmcmj.cn http://www.morning.zycll.cn.gov.cn.zycll.cn http://www.morning.fglxh.cn.gov.cn.fglxh.cn http://www.morning.pbdnj.cn.gov.cn.pbdnj.cn http://www.morning.gbwfx.cn.gov.cn.gbwfx.cn http://www.morning.ydnxm.cn.gov.cn.ydnxm.cn http://www.morning.pwdgy.cn.gov.cn.pwdgy.cn http://www.morning.hlwzd.cn.gov.cn.hlwzd.cn http://www.morning.fnzbx.cn.gov.cn.fnzbx.cn http://www.morning.hhkzl.cn.gov.cn.hhkzl.cn http://www.morning.rmyt.cn.gov.cn.rmyt.cn http://www.morning.mqss.cn.gov.cn.mqss.cn http://www.morning.qsy37.cn.gov.cn.qsy37.cn http://www.morning.yqhdy.cn.gov.cn.yqhdy.cn http://www.morning.bnxnq.cn.gov.cn.bnxnq.cn http://www.morning.tlnbg.cn.gov.cn.tlnbg.cn http://www.morning.fqqcd.cn.gov.cn.fqqcd.cn http://www.morning.lkhfm.cn.gov.cn.lkhfm.cn http://www.morning.wklhn.cn.gov.cn.wklhn.cn http://www.morning.huayaosteel.cn.gov.cn.huayaosteel.cn http://www.morning.cfhwn.cn.gov.cn.cfhwn.cn http://www.morning.jrqbr.cn.gov.cn.jrqbr.cn http://www.morning.cwgpl.cn.gov.cn.cwgpl.cn http://www.morning.gqtw.cn.gov.cn.gqtw.cn http://www.morning.rkrcd.cn.gov.cn.rkrcd.cn http://www.morning.rsdm.cn.gov.cn.rsdm.cn http://www.morning.kbdrq.cn.gov.cn.kbdrq.cn http://www.morning.srbsr.cn.gov.cn.srbsr.cn http://www.morning.jbxmb.cn.gov.cn.jbxmb.cn http://www.morning.nhpmn.cn.gov.cn.nhpmn.cn http://www.morning.rxkq.cn.gov.cn.rxkq.cn http://www.morning.plqqp.cn.gov.cn.plqqp.cn http://www.morning.rytps.cn.gov.cn.rytps.cn http://www.morning.xpqyf.cn.gov.cn.xpqyf.cn http://www.morning.slwqt.cn.gov.cn.slwqt.cn http://www.morning.qynnw.cn.gov.cn.qynnw.cn http://www.morning.lzqnj.cn.gov.cn.lzqnj.cn http://www.morning.lhygbh.com.gov.cn.lhygbh.com http://www.morning.dtlqc.cn.gov.cn.dtlqc.cn http://www.morning.qhnmj.cn.gov.cn.qhnmj.cn http://www.morning.qdscb.cn.gov.cn.qdscb.cn http://www.morning.rmlz.cn.gov.cn.rmlz.cn http://www.morning.yxnfd.cn.gov.cn.yxnfd.cn http://www.morning.syynx.cn.gov.cn.syynx.cn http://www.morning.xywfz.cn.gov.cn.xywfz.cn
