как называется корень в алгебре

Под "корнем" скорее всего подразумевается знак корня. В алгебре знак корня называется радикал (от латинского radix - корень). Выражение, стоящее под знаком радикала называется подкоренным выражением.