как называется знак корня в алгебре

В алгебре знак корня называется радикалом (от латинского radix - корень). Выражение, стоящее под знаком радикала называется подкоренным выражением.