Яка різниця між прихованим шаром і проекцією в нейронних мережах?                    https://arxiv.org/pdf/1301.3781.pdf


Відповідь 1:
Проекційний шар відображає дискретні індекси слів n-грамового контексту на безперервний векторний простір.

Як пояснено в цій тезі

Шар проекції поділяється таким чином, що для контекстів, що містять одне і те ж слово кілька разів, застосовується однаковий набір ваг для формування кожної частини вектора проекції. Ця організація ефективно збільшує кількість даних, доступних для тренування ваг проекційного шару, оскільки кожне слово кожного контексту навчального шаблону індивідуально вносить зміни у значення ваги.

Цей малюнок показує тривіальну топологію, як можна ефективно збирати вихідний шар проекції, копіюючи стовпці з матриці вагового рівня проекційного шару. Кожен нейрон у проекційному шарі представлений кількістю ваг, рівних розміру словникового запасу. Прожекторний шар відрізняється від прихованого та вихідного шарів тим, що не використовує нелінійну функцію активації. Її мета полягає в тому, щоб просто надати ефективний засіб проектування заданого контексту нумерації на зменшений безперервний векторний простір для подальшої обробки прихованими та вихідними шарами, підготовленими для класифікації таких векторів. Зважаючи на характер одного або нуля елементів вхідного вектора, вихід для конкретного слова з індексом i є просто i-м стовпцем підготовленої матриці ваг проекційного шару (де кожен рядок матриці представляє ваги одного нейрона ).

Тепер, прихований шар:

Прихований шар обробляє вихід проекційного шару, а також створюється з низкою нейронів, зазначених у файлі конфігурації топології.