Какие значения Top-K, Top-P и температуры выставлять в нейронках для арбитражных задач. Часть 2
В первой части рассказал, какую температуру выставлять в зависимости от задачи, которая стоит перед арбитражником.
Сразу оговорюсь, один токен не равняется одному слову, это плавающее значение в зависимости от модели и языка. Но для удобства в примерах я буду вместо токена использовать слова.
Top-K - ограничение по количеству слов
Перед тем как выдать следующее слово, нейронка выстраивает все слова своего словаря по степени вероятности. И выбирает из первых K слов.
То есть если поставитьTop-K = 5, то гемини будет выбирать следующее слово из 5 самых вероятных вариантов.
Соответственно, чем меньше Top-K, тем более сухим и предсказуемым становится ответ нейронки. Если поставить Top-K = 1, то это будет работать так же, как Температура = 0 - всегда только один самый очевидный вариант.
Top-P
В отличие от Top-K, который тупо отсекает фиксированное количество слов, Top-P смотрит на накопительную вероятность слов.
Тут нейронка не сравнивает каждое слово по отдельности, а складывает их вероятности друг с другом, пока не наберется нужная сумма.
Например, гемини выбирает следующее слово после фразы: «ебучий гугл снова ебет за…».
У него есть список кандидатов, отсортированный по популярности:
Верифы 40%
ПП - 30%
Обходы - 15%
Компромайзед сайт - 10
Бизнес практики - 5%
Top-P выставляется в процентах (Top-P=0.9 это значит 90%), поэтому сумма всех вариантов у нас равна 100%.
И теперь, если я выставлю Top-P = 35%, нейронка начинает складывать вероятности сверху вниз.
Первый кандидат - Верифы. Так как 40% уже больше моего порога в 35%, этот кандидат и побеждает в конкурсе.
А если бы я выставил Top-P = 75%, то нейронка складывала бы: Верифы (40%) + ПП (30%) + (все еще меньше 75%) + Обходы (15%) - теперь сумма стала 85%, то есть порог достигнут. И теперь уже гемини выберет один из трех вариантов.
Ну кстати он так походу и сыпет баны на рандом😂
В заключении - как применять Top-P в арбитражных задачах и почему нельзя обойтись только температурой.
Обнял❤️
1x Личный блог Тимлида канал по Facebook
Google 1x ТимЛид канал по Google
ROI-Craft Agency - FB/Moloco агентские аккаунты для мастштаба , без танцев с бубном
White.expert - приватный генератор вайтов (регистрация только при наличии инвайта)
🚀 Магазин расходников для арбитража (Фб, Гугл, ТТ) - shopi3.store
Google 1x
Ещё кейсы
- That’s a wrap on TOKEN2049 Singapore 🇸🇬 Two days, a packed booth and more conversations
- The B2B buyer journey has grown from 211 to 272 days Most of that time is spent
- Кейс Hybrid Metaverse и «Дикси»: как запустить новый брендированный мир в «Майнкрафте»
- Кейс «Авито» и Soloway: как динамический ретаргетинг работает с разными сценариями
- Обновленный пак информации google ads🔥 без воды и паблика. Актуальный опыт на
- 💸 Как снизить финансовые риски в арбитраже и не слить бюджет? Даже прибыльная связка
Комментарий