更新: 这是一个稍微过时的源版本。该插件现已在官方 OpenAnimal Github 上免费!

UE5 本地多模态感知 + 持久身份

OpenAnimal 是一个基于虚幻引擎的可扩展框架,用于建模和模拟动物和类人行为。

OpenAnimal 直接在虚幻引擎中提供实时神经网络推理和行为建模,从而实现先进的生物模拟、研究环境、教育应用和机器人原型设计。

其核心是 OpenBrain:一个独立、即插即用的动物大脑系统,旨在为虚幻引擎中的任何 Actor 带来自主行为,并最终将自主行为带入物理世界。平台。该模块侧重于长期可扩展性,旨在模拟自然动物认知和社交互动,而不是高级智能。

该系统旨在完全离线运行并自主操作,其设计针对经济实惠、广泛使用的平台(包括移动设备)进行了优化。未来的更新将扩展行为深度和功能。

功能

  • 完全蓝图原生 ONNX 神经网络执行

  • 异步处理管道

  • 语音转文本、说话人识别和关键字分析

  • 动物姿势、头部和视线检测

  • 控制和传感

  • 行为和情绪(初步)

  • 使用 Android 移动设备作为大脑的平台独立模型

  • 与物理主机/硬件无关,默认提供 Arduino 通信示例

用例

* 构建自主宠物式代理

* 研究和模拟环境

* 动物/人类行为的教育演示和研究

* 建模社会或群体动态

* 移动、独立自主系统

必需

可选 VLM/LLM

  • VaRest 用于与语言/视觉模型进行通信(可能已过时)很快)

  • Ollama 用于极其简单的本地(或云辅助)托管和执行LLM/VLM

免责声明

这是一个早期版本。虽然功能正常,但某些系统仍在开发中,可能存在问题。

声明:本站所有资源都是由站长从网络上收集而来,如若本站内容侵犯了原著者的合法权益,可联系站长删除。