Вкатываемся в NLP: как стать любителем потрогать вектора в 1024…
Вкатываемся в NLP: как стать любителем потрогать вектора в 1024 пространстве?
Самое первое - вам надо знать базовый ML: понимать, что такое линейный слой, функции активации и математика соответственно.
Можно начать с DLS, все знают их курсы.
Далее само NLP. Лично я спрашиваю на собеседованиях людей больше про понимание математики, которая там заложена. Нужно понимать история развития кодировки текста и различия между ними: BoW, TF-IDF, Word2Vec и BERT-like моделей будет достаточно.
После чего мы переходим уже к самим моделям: BERT, GPT, E5, T5 и другие. Советую сначала разобраться в ванильном трансформере, чтобы не было вопроса «что такое cross-attention?» После чего понимать математику: почему нужно делать Q * K.T(и может кому-то смешно от такого, на деле люди действительно не понимают зачем транспонировать), чему равна сумма значений, пройденных через softmax и так далее. С этим вам поможет курс ШАДа/Standford’а.
После чего наступает момент «свободного плаванья». Я бы советовал погрузиться в LLM, смотреть разные архитектуры и начинаться уже понимать, что такое RoPE или KV-Cache.
И только после этого приближаться к агентам: понемногу понимать, что такое Functional Calling, как создавать память LLM в диалоге, долгосрочную память и наконец строить графы a.k.a агентов.
Куда дальше? Ну тут скорее всего уходить в ресерч, набираться опыта, а так же начинать лезть в RL, так как полезная штука(все помнят как DeepSeek со своим GRPO взорвал мир).
Если коротко, то думаю весьма неплохой вариант попробовать стать NLP-гуру.
Самое первое - вам надо знать базовый ML: понимать, что такое линейный слой, функции активации и математика соответственно.
Можно начать с DLS, все знают их курсы.
Далее само NLP. Лично я спрашиваю на собеседованиях людей больше про понимание математики, которая там заложена. Нужно понимать история развития кодировки текста и различия между ними: BoW, TF-IDF, Word2Vec и BERT-like моделей будет достаточно.
После чего мы переходим уже к самим моделям: BERT, GPT, E5, T5 и другие. Советую сначала разобраться в ванильном трансформере, чтобы не было вопроса «что такое cross-attention?» После чего понимать математику: почему нужно делать Q * K.T(и может кому-то смешно от такого, на деле люди действительно не понимают зачем транспонировать), чему равна сумма значений, пройденных через softmax и так далее. С этим вам поможет курс ШАДа/Standford’а.
После чего наступает момент «свободного плаванья». Я бы советовал погрузиться в LLM, смотреть разные архитектуры и начинаться уже понимать, что такое RoPE или KV-Cache.
И только после этого приближаться к агентам: понемногу понимать, что такое Functional Calling, как создавать память LLM в диалоге, долгосрочную память и наконец строить графы a.k.a агентов.
Куда дальше? Ну тут скорее всего уходить в ресерч, набираться опыта, а так же начинать лезть в RL, так как полезная штука(все помнят как DeepSeek со своим GRPO взорвал мир).
Если коротко, то думаю весьма неплохой вариант попробовать стать NLP-гуру.
Автор: Егор Гречин