Родился в станице Новодеревянковской Кубанской области, в семье священника. Из казаков.

Казачий историк, известный земский статистик, экономист, этнограф, член-корреспондент по разряду историко-политических наук Историко-филологического отделения с 4 декабря 1904 года.

Образование получил в Петровской земледельческой академии и Новороссийском университете. Перед поступлением в академию вместе с товарищами организовал в Кубанской области земледельческую артель, в которой работал простым рабочим. Возможно, эта жизнь и работа среди простого народа, натолкнули Щербину на исследование народной жизни. В 1878 - 1882 гг. он обследовал Кубанскую область. В 1884 году принял на себя заведование статистическими работами воронежского губернского земства, где проработал восемнадцать лет, в 1903 году выслан в административном порядке из Воронежской губернии (получил возможность вернуться в 1904 году) и некоторое время жил в своем имении близ Геленджика, Черноморской губернии.

В эти же годы Щербина, по поручению Владикавказской железной дороги, производил экономическо-статистические исследования района этого пути; результаты этих работ изданы в 1892 - 1894 гг. под заглавием: "Общий очерк экономических и торгово-промышленных условий района Владикавказской железной дороги". С 1896 года Щербина состоял заведующим экспедицией по исследованию степных областей (Акмолинской, Семипалатинской и Тургайской), снаряженной Министерством земледелия и государственных имуществ. Много труда Щербина посвятил исследованию земельной общины и артелей, опубликовал статьи: "Сольвычегодская земельная община" в "Отечественных Записках" за 1874 год и "Земельная община в Днепровском уезде" в "Русской Мысли" за 1880 год и другие; им же, одним из первых по времени, даны статистические сведения о штундистах ("Малорусская штунда" в газете "Неделя" за 1876 год). Работы Щербины, как земского статистика, характеризуются введением в статистический учет, наравне с процессами производства и явлениями мены, обращения, денежных процессов, вообще потребления народа; изучение бюджетов крестьян Воронежской губернии послужило прототипом для всех подобных работ других русских статистиков.

В последующем Щербина, по поручению Кубанского казачьего войска, занят составлением истории казачества, в результате он издает двухтомник "История Кубанского казачьяго войска". Помимо основных работ Щербины, как статистика, его труды касаются вопросов этнографических, исторических, экономических; некоторые из них носят характер чисто публицистический. Статьи Щербины, начиная с 1869 года, помещались во многих периодических изданиях, как столичных, так и провинциальных, более всего в "Неделе", "Русских Ведомостях", "Отечественных Записках", "Русской Мысли", "Северном Вестнике", "Русском Богатстве", "Юридическом Вестнике" и "Народном Хозяйстве". В сборнике "Влияние урожаев и хлебных цен" (редакция профессора А. Чупрова и А. Посникова , 1897 год) помещена статья Щербины о крестьянских бюджетах в зависимости от урожаев и колебания хлебных цен. По воронежской статистике Щербиной частью составлено, частью редактировано 66 томов; кроме того, им выпущено отдельными изданиями 16 книг, состоящих из его работ по воронежской статистике и статей по разным вопросам; книга "Крестьянские бюджеты" (1900) издана Императорским вольным экономическим обществом. Из изданий Министерства земледелия и государственных имуществ под редакцией Щербины вышло пока 10 томов ("Материалы по киргизскому землепользованию, собранные и разработанные экспедицией по исследованию степных областей").

За "Историю Воронежского земства" (1891) Щербина получил от Императорской Академии Наук денежную премию императора Александра II, за статистические работы по Воронежской губернии от Императорского русского географического общества - большую золотую медаль, за оценочные работы - премию имени князя Васильчикова.

В 1907 году избран в Кубанской области во II Государственную думу. Примкнул к казачьей группе и к партии народных социалистов. В думской комиссии по вопросу о военном контингенте на 1907 год высказался вместе с правыми и кадетами против левых за утверждение контингента новобранцев на 1907 год в требуемом правительством размере.

После Октябрьской революции эмигрировал. Был профессором статистики в Украинском техническом институте в Падебрадах, затем ректором Украинского народного университета. Умер в Праге 28 октября 1936 года.