В рамках написания всяких сопроводительных писем вспоминал сегодня свой опыт работы с «неонками». Вспомнил, что RAG и приближённый векторный поиск я настраивал ещё в 2012/13 — для поиска похожих изображений по эмбеддингам особых точек. Нейронки в тот момент ещё только-только выстрелили, а я в дипломной работе пытался учить что-то супер-наивное для нелинейного понижения размерности эмбеддингов. Причём без фреймворков (хотя они тогда уже начали появляться).
Удивительно, конечно, но в ШАДе 2011–13 про нейросети рассказывалось что-то супер-базовое, типа backpropagation. Ну и свёртки в курсе анализа изображений. А актуальную (на тот момент) информацию про нейронки я узнал уже на ЛШРР, в 2018-м. Забавно, что трансформеры тогда только появились, и мы обсуждали в силу своего понимания Attention is what you need, совсем свежую статью.