Рендеринг 3D-модели в реальном времени и преобразование текста в речь
Задавая вопрос, нужно разбить все это на более мелкие вопросы и решать их один за другим.
Но я прошу об этом нехорошо, чтобы полностью объяснить мои потребности и технические ограничения, надеясь, что кто-то предложит идеальный набор технологий для работы.
Я должен разработать что-то, что примет текст в качестве ввода конвертировать в речь
Эта речь изречена 3D модель в в режиме реального времени.
Здесь вы можете увидеть все эти вещи должны быть в режиме реального времени только поэтому я думаю сделать это в некоторых игровой движок,
но я не уверен, что то, что я должен сделать здесь, возможно.
Мне нужно руководство, путь, как я должен начать.
Решение
Вы не указали платформу, то есть Windows / Linux и т. Д., Хотя это может и не иметь значения.
Сначала я хотел объединить библиотеку PICO tts с игровым движком Blender (BGE).
Хотя я не уверен, есть ли привязки Python для двигателя Pico.
Проект espeak (espeak.sourceforge.net/) преобразует обычный текст в фонемы, которые затем можно использовать для управления шейп-клавишами (или блендами), я забыл их название Блендера, прошло более 5 лет с тех пор, как я в последний раз играл с Blender / Майя / 3DSMax).
Предположительно, вы могли бы внедрить механизм espeak в python (или создать модуль, который был бы доступен через python) и использовать его для генерации необходимых фонем перед их передачей на ваш контроллер shape / blend-key и Pico одновременно.
После беглого взгляда кажется, что libttspico-dev — это пакет, который поддерживает разработку приложений с поддержкой pico, хотя, как представляется, он содержит только файлы c / c ++ — я полагаю, что должно быть возможно создать модуль python, использующий движок, но Я действительно не знаю ничего больше о Пико, чем его название и основные функции. Это может быть глупым и неосведомленным предложением.
В любом случае, это действительно интересный проект. Возможно, проще было бы создать приложение на C / C ++, использующее OGRE и Pico. Важным фактором также будет способность OGRE смешиваться с одной клавиши формы на следующую — также может случиться так, что Пико все делает внутренне таким образом, что вы не можете получить обратные вызовы или отслеживать его текущую позицию в воспроизводимой речи.
Отмеченный.
Другие решения
Других решений пока нет …