Початкову освіту Костянтин Мусійович отримав у Прилуцькій початковій школі та повітовому училищі; потім закінчив Прилуцьку шестикласну прогімназію, після якої, щоб отримати середню освіту вступив на навчання до Лубенської гімназії, яку закінчив із золотою медаллю у 1882 році. Навчаючись у цих закладах, виявляв великий хист і цікавість до математики, тому для подальшого навчання вступає на фізико-математичний факультет Київського університету, який закінчив у 1888 році з ступенем кандидата фізико-математичних наук. Після університету Костянтин Мусійович викладає математику в різних учбових закладах Києва, крім того, з 1906 року є членом Дослідного комітету з математики Київського навчального округу.
У 1909 році йому була запропонована організація Учительського інституту, а також організація дослідної школи при ньому та завідування цими учбовими закладами, де він протягом десяти років виконував обов’язки директора та читав педагогічні дисципліни. До того ж, саме в цьому році Костянтин Мусійович був вибраний викладачем методики математики Київських жіночих курсів, де пізніше він виконував обов’язки декана математичного відділення.
У 1920 році Костянтин Мусійович переїжджає до Одеси та викладає на Одеських Фребелевських курсах, а потім викладав в інституті народної освіти.
З 1932 року, після виходу на повну пенсію, Костянтин Мусійович продовжив роботу у ФХМІ до перетворення його в Одеський державний університет.
Окрім учбової роботи Костянтин Мусійович Щербина протягом усієї науково-педагогічної діяльності проводив велику організаційну роботу. Приділяв багато уваги Київській спілці сприяння початковій освіті та в якості члена ради багато сил віддавав для її діяльності.
З виникненням курсів підвищення кваліфікації вчителів він увесь час брав участь у веденні занять на цих курсах із математики та методики математики. Навіть уже будучи в поважному віці, понад 75 років, Костянтин Мусійович виїжджав у райони Одеської області для доповідей вчителям початкової та середньої школи. Він був членом Фізико-математичного товариства при Київському університеті, неодноразово виступав із доповідями та брав участь у його роботі, був дійсним членом Одеської науково-дослідної кафедри математики. Неодноразово брав участь у різних з’їздах і конференціях, з науково-педагогічними цілями бував у закордонних відрядженнях у Франції, Швейцарії, Німеччині та Австрії. Вченому належить понад 30 друкованих праць, які друкувались у журналах: «Київські університетські відомості», «Новий шлях». Кожного, кому пощастило бачити його праці в рукописах, із першого погляду вражали своєю акуратністю та каліграфічним почерком. Костянтин Мусійович дуже цінував друковане слово й говорив, що багато що в нашому житті приходяще, а друковане залишається жити. На його працях вихована ціла кагорта прекрасних викладачів, для яких ім’я Костянтина Мусійовича стало дорогим на все життя.

Зав. філіалу Прилуцького краєзнавчого музеюім. В.І. Маслова Іващенко Т.О.