OpenAI представляет гибкую обработку в API, чтобы помочь разработчикам сократить расходы на использование ИИ

OpenAI says Flex processing will offer lower inference costs in exchange for slower response times.

openai рекомендует разработчикам увеличить продолжительность времени ожидания для длительных подсказок

рекламы

OpenAI представила новый уровень обслуживания для разработчиков в четверг через свой интерфейс прикладного программирования (API). Обработанная гибкой обработкой, она снижает затраты на использование ИИ вдвое для разработчиков по сравнению со стандартными ценами. Тем не менее, сниженные цены сопровождаются последствиями более медленного времени отклика и случайных ресурсов. Новая функция API в настоящее время доступна в бета-версии для выбора больших языковых моделей, ориентированных на рассуждения (LLMS). Аи-фирма, расположенная в Сан-Франциско, заявила, что этот уровень обслуживания может быть полезен для непроизводственных и неприоритетных задач.На своей странице поддержки фирма ИИ подробно описала этот уровень обслуживания. Обработка Flex в настоящее время доступна в бета-версии для завершения чата и ответов API, и работает с моделями ИИ O3 и O4-Mini. Разработчики могут установить параметр Service Tier для изгиба в запросе API для активации нового режима.

Одним из недостатков более дешевой цены API является то, что время обработки будет значительно выше. OpenAI говорит, что разработчики, выбирающие обработку гибки, должны ожидать более медленного времени отклика и случайных ресурсов. Кроме того, пользователи также могут столкнуться с проблемами времени ожидания запроса API, в случае, если приглашение является длительной или запрос сложный. В соответствии с фирмой ИИ, этот режим может быть полезен для непредвиденных или низкоприоритетных задач, таких как оценки моделей, обогащение данных или асинхронные рабочие нагрузки. По умолчанию эти API установлены на тайм -аут через 10 минут. Однако при обработке гибкой, длительные и сложные подсказки могут занять больше времени, чем это. Компания предполагает, что увеличение тайм -аута уменьшит шансы получить ошибку.

Кроме того, обработка Flex может иногда не хватать ресурсов для обработки запросов разработчиков, а вместо этого помечает код ошибки «429 ресурсов недоступно». Чтобы управлять этими сценариями, разработчики могут повторно запросов с экспоненциальным отбором или переключаться на уровень обслуживания по умолчанию, если необходимо своевременное завершение. Openai сказал, что он не будет взимать плату за разработчиков, когда они получат эту ошибку. 3418) на миллион выходных токенов в стандартном режиме. Обработка Flex приводит к снижению входной стоимости до 5 долларов США (примерно 427 рупий), а затраты на выход до 20 долларов США (примерно 1709 рупий). Аналогичным образом, новый уровень обслуживания взимает 0,55 долл. США (примерно 47 рупий) за миллион входных токенов и 2,20 долл. США (примерно 188 рупий) за миллион выходных токенов для модели A4-Mini AI вместо 1,10 долл. США (примерно рупий 94) для ввода и 4,40 долл. США (примерно рупий 376) для производства в стандартном режиме.