Aparin

Последние публикации канала «Aparin»

1. 436 просмотров, 33 реакций, 10 июн. 2026 г.

   Сегодня вышли ещё две статьи с моим соавторством: 1) TTS диффузия на FSQ токенах , работа моего коллеги Вадима, принята на ICML. Основным результатом этой работы стала модернизация архитектуры CosyVoice2, за счёт замены LLM бекбона на диффузионную модель, предсказывающую дискретные речевые токены, с предиктором длительности синтезируемого аудио. За счёт этого удалось достичь ускорения инференса модуля бекбона в 5-10 раз, в зависимости от длины синтеза и количества шагов обратной диффузии, при этом сохранив (и частично улучшив) качество синтеза на английских данных 2) интерпретация и стиринг…

   Открыть пост в MAX
2. 16.3K просмотров, 24 реакций, 09 июн. 2026 г.

   Чаще всего стиринг активаций LLM реализуют как параллельный перенос активаций вдоль предпосчитанного вектора концепта (стиринг вектора). Такой дизайн исходит из гипотезы о локальной линейности множества активаций LLM. Но недавно вышли работы, которые критикуют такой подход, заявляя, что при линейном стиринге сильно меняется норма активации, а это выводит активацию в out-of-distribution, что ломает модель. Предлагаемая альтернатива — сферический стиринг, который сохраняет нормы активации, только поворачивая их в сторону вектора концепта на некоторый угол Но сами гипотезы, на которых строится…

   Открыть пост в MAX
3. 8.4K просмотров, 28 реакций, 09 июн. 2026 г.

   Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders Модель распознавания речи Whisper страдает от "галлюцинаций" на неречевых аудио. Галлюцинации в данном контексте понимаются как связанный текст, распознанный на аудио без речи. То есть этот текст грамматически верен, но не имеет с аудио ничего общего. Это следствия методики обучения этой модели: использовалось большое количество слабо размеченных аудио. Например для аудиодорожек с ютуба текстовым таргетом были их субтитры. Так, например, на шумных фрагментха при зафиксированном русском…

   Открыть пост в MAX
4. 433 просмотров, 32 реакций, 09 июн. 2026 г.

   Всем привет На этой неделе были выложены две статьи с моим первым авторством: 1) стиринг ASR модели Whisper против галлюцинаций , принята на Interspeech 2) геометрический анализ стиринга с точки зрения angular и norm компонент , препринт, засабмичен на EMNLP Вторая статья в особенности важна для меня, потому что открывает череду исследований теории стиринга, которую я хотел бы развить Подробнее про каждую из них расскажу в постах ниже

   Открыть пост в MAX
5. 1.1K просмотров, 28 реакций, 06 мар. 2026 г.

   Саша выложил четыре поста про то как команда готовилась и выступала на зимнем межнаре. Особенно интересные последние два, про кринжату со стороны организаторов https://t.me/aguschin_ai/240

   Открыть пост в MAX
6. 1.2K просмотров, 32 реакций, 27 февр. 2026 г.

   https://t.me/olimpiad_CU/210 Завершился зимний ИИ межнар IAIO, от летнего IOAI он отличается тем что в нём есть теоретическая часть с математическими задачками (в летнем только практическая). Последние три недели мы готовили ребят, в частности я готовил к теор части. Ребята вообще большие молодцы, до подготовки я не думал что школьники могут так хорошо шарить за теорию ML. То есть аргумент о том что они оверфитнуты только под хакатоны и соревы, где надо настакать побольше бертов или катбустов не совсем правдивый, по крайней мере для тех четырёх ребят, которых мы готовили. (в посте их трое,…

   Открыть пост в MAX
7. 7.8K просмотров, 48 реакций, 09 февр. 2026 г.

   Выложили с коллегами статью по Audio SAE на arxiv. Это одна из первых работ, посвященная применению разряженных автоэнкодеров в аудио домене Sparse Autoencoder (SAE) - это инструмент механистической интерпретации, который "распутывает" активации модели, переводя их в пространство большей размерности. SAE учится таким образом, что вектор его латентных активаций становится разреженным, в результате активации модели на каждом токене описываются небольшим множеством фичей (компонент латентного вектора SAE). Эти фичи в идеале должны быть моносемантичны и интерпретируемы, но этими свойствами…

   Открыть пост в MAX
8. 957 просмотров, 35 реакций, 13 янв. 2026 г.

   а ещё там живут вот такие одетые козочки

   Открыть пост в MAX
9. 870 просмотров, 27 реакций, 12 янв. 2026 г.

   местные жители

   Открыть пост в MAX