«Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24 В просьбе «давайте просто развернём свою LLM на 1Т параметров» больше всего вопросов к слову «просто». Допустим, модель уже работает. Теперь чаты, длинные документы и агенты делят одни и те же мощности. Надо решить, кто подождёт, чем занять ресурсы между пиками и как проверить, что очередная оптимизация не испортила ответы. На Saint HighLoad++ я разбирал эти задачи, постепенно достраивая схему платформы. В статье сделаем так же. https://habr.com/ru/companies/bitrix/articles/1093038/ #LLM #selfhosted #LLMOps #AIплатформа #инференс #prefix_cache #KVcache #AIагенты