RE_POST

Forbes: аналитики предсказали, что Microsoft выкупит OpenAI в течение трех лет

Эксперты объясняют это тем, что скоро хайп вокруг ИИ начнет спадать, и инвесторы уже не будут так щедры. Тем временем стартапам нужно будет все больше и больше денег, которых у них самих не хватит.

В итоге крупные компании, для которых ИИ имеет большую ценность (такие как Microsoft и Amazon) начнут скупать успешные стартапы вроде OpenAI и Anthropic.

Вот это поворот...

Нобелевкой по физике дело не кончилось и нобелевку по химии тоже получили машинлернеры

Ее выдали Демису Хассабису и Джону Джамперу из Google за модель AlphaFold2 для предсказания структуры белка

Фэрфакс Каунти в США внедряет искусственный интеллект для обработки неэкстренных звонков на 911, что позволит существенно сократить время ожидания. Скотт Бриллман, директор отдела общественной безопасности, рассказал, что AI-система будет автоматически классифицировать вызовы, переводить их на другие языки и перенаправлять в нужные агентства. В 2024 году количество неэкстренных звонков превысило экстренные, создавая нагрузку на операторов и увеличивая время ожидания. Новая технология также обеспечит поддержку во время крупных катастроф и оптимизирует процессы эвакуации транспортных средств, повышая эффективность службы безопасности и снижая стресс сотрудников.@SeveraAIClub

И еще одна новость от OpenAI - релиз затюнненой Speech-to-Text модели Whisper Turbo
https://github.com/openai/whisper/discussions/2363
На самом деле оптимизаторы из опенсорса уже пытались библиотеку ускорсить, и WhisperX или FastWhisper действительно работали в 8-10 раз быстрее при практически том же уровне качества, но от OpenAI все-таки получить улучшенную версию еще приятнее.

Пишут, что скорость стала на уровне base-tiny моделей, то есть в 6-8 раз быстрее, но качество упало примерно на 10%, для некоторых языков больше (см картинку) что как бы не лучший вариант. Плюс модель не заточена на перевод, только на транскрибацию. Так что если надо что-то прям быстро получить и на источниках с хорошим качеством - подойдет, но для качественного транскрибирования и перевода - нет.

🤖 Anthropic Batch API

Компания Anthropic представила новый Message Batches API — решение для асинхронной обработки большого количества запросов. Этот API позволяет отправлять до 10,000 запросов в одном пакете, обрабатывая их менее чем за 24 часа (скорость в обмен на скидку в 50%). Теперь у Антропика тоже есть удобное API для таких задач, как анализ данных и классификация.

Anthropic Batch API может обрабатывать до 10,000 запросов в батче (у openAI - 50,000 в батче)

По деньгам получается следующее - например, для модели Claude 3 Haiku стоимость входных токенов с Batch API составляет $0.125 за 1 млн токенов, а выходных — $0.625 за 1 млн токенов.

OpenAI Batch API также предоставляет скидку на 50%. Например, для модели GPT-4o-mini стоимость входных токенов составляет $0.075 за 1 млн токенов, а выходных — $0.300 за 1 млн токенов при использовании Batch API, что значительно дешевле по сравнению с моделями Anthropic.

Anthropic Batch API обещают обработка в течение 24 часов или быстрее. Пользователи могут отслеживать статус через Console или API.


Поддерживаемые модели: Claude 3.5 Sonnet, Claude 3 Haiku и Claude 3 Opus.

Разнообразие запросов: Поддержка Vision, Tool use, системных сообщений и диалогов в одном пакете.

Период доступности результатов: Результаты доступны для загрузки в течение 29 дней после создания пакета.

Ссылка

LLM знают больше, чем показывают: исследование ученых из Техниона, Google Research и Apple

Оказывается, языковые модели в своих representations слоях (имеются в виду слои эмбеддингов) энкодят гораздо больше информации о "правдивости" ответов, чем затем выплевывают в генерации. Другими словами, модель знает больше, чем говорит: в том числе она как бы может знать, что неправа, или даже знать правильный ответ, но при этом все равно болтать чепуху.

Самое интересное: информация о правдивости (в статье это называется truthfulness information) содержится в определенных токенах. К тому же, ученые доказали, что можно предсказать "тип" ошибки, которую выдаст модель, опять же по ее внутренним representations. Они даже обучили классификатор на такую детекцию. Точность получилась вполне приемлемая.

Статья полностью – тут

ИИ создаёт квизы за вас. В викторинах можно распределять баллы между участниками и выбирать победителей по очкам. Поддерживает генерацию на русском и английском. Для этого выберите нужный язык в интерфейсе и создайте новый квиз. При желании, можно задать аудиторию и сложность квиза. С меня посты, с вас 🍌

kvistly