Llama.prg

Llama.prg – это Harbour API к популярным проектам llama.cpp и whisper.cpp, позволяющий использовать локальные LLM (Large Language Models) и преобразование речи в текст (STT) прямо из программ на языке Harbour.

Проект на Github
Демо - Windows Демо - Debian 12
Stable-diffusion.prg

Возможности

Запуск локальных LLM-моделей в gguf - формате (поддержка llama.cpp)
Транскрибация аудио в текст (поддержка whisper.cpp)
Простое API для интеграции в Harbour-приложения
Кроссплатформенность (Windows, Linux)

Для чего это нужно?

Встраивание ИИ-возможностей в классические xBase-приложения
Создание чат-ботов, голосовых ассистентов и аналитических инструментов
Эксперименты с локальными языковыми моделями без перехода на Python/C++

Пример использования

Ниже - простейший пример: загрузить модель, инициализировать кониекст, задать вопрос и токен за токеном получить ответ.

Function Main()

   LOCAL cModel := "/ai/models/Qwen3-8B-Q6_K.gguf"
   LOCAL cQue, cAns, cAnswer

   ? cModel, "Loading..."

   IF llm_Open_Model( cModel ) == 0
      IF llm_Create_Context() == 0

         ACCEPT "Your question:" TO cQue
         ?
         llm_Ask( cQue )
         cAnswer := ""
         DO WHILE ( cAns := llm_GetNextToken() ) != Nil
            IF !Empty( cAns )
               cAnswer += cAns
               ?? cAns
            ENDIF
         ENDDO
         llm_Close_Context()
      ENDIF

      llm_Close_Model()
   ENDIF

   RETURN Nil

Документация

Подробные инструкции и примеры кода доступны в репозитории проекта.

Комментариев: () пред. след. Добавить комментарий

Длина комментария - не больше 4000 символов.
Ваше имя:

Адрес электронной почты:
(не предназначено к показу)

Введите текст с картинки:

Ответить