Резюме
След като получите своите показатели за растеж от най-висок клас, анализът наистина може да започне.- Има много фактори, както вътрешни, така и външни, които влияят върху най-добрите цифри на компанията, като приходи и ръст на потребителите.
- Ключовото е да можете да изолирате ефектите от предвидените действия, като маркетинг и PR, за да разберете колко ефективни са те за бъдеща употреба.
- Инструментите, често прилагани на финансовите пазари, могат лесно да бъдат приложени към конвенционалните бизнес практики.
- Стратегиите за бизнес растеж имат три променливи, които могат да бъдат деконструирани и измерени: ръст на потребителите от първо ниво, задържане и ангажираност
- Един прост регресионен модел, най-често чрез метода на обикновените най-малки квадрати, може след това да установи еталонния „нормален“ растеж, изпитан от бизнеса. Това може да тества набор от вътрешни и външни сили за тяхното влияние върху ефективността на растежа.
- Не третирайте всяка стратегия за растеж, използвана като изолирано събитие - поредица от събития може да има различни резултати във всеки момент от времето, но тяхното въздействие като цяло може да се комбинира, за да доведе до значителни резултати
- Ако се случи значително, но еднократно събитие (като оставка на C-suite), маркирайте точката с данни като объркано несвързано събитие с променлива на индикатора. Тези събития сами по себе си също могат да бъдат тествани с течение на времето за техните изолирани ефекти.
- Вземете под внимание нелинейността на определени събития, настъпващи едновременно. Положителните и отрицателните ефекти може да не са същите, както при изолирането. Виждаме това на публичните пазари, където компаниите могат да се 'изкъпят', като пуснат потоп от негативни новини наведнъж, което води до първоначален 'фиксиран' удар от факта на лоши новини, с незначителни последващи ефекти.
- Също така започнете да изграждате процес за вашите показатели за растеж - тъй като събирате повече данни с течение на времето, точността на прозренията ще се увеличи.
- Разгледайте автоматизирането на подаването на данни в процеса и събиране на данни от други области на организацията (например връзка към GitHub, за да тествате ефекта от актуализациите на софтуера). С течение на времето, прилагането на итеративни принципи на машинно обучение към вашето измерване на растежа само ще увеличи стойността му към вашата компания, разбираща напредъка.
Отчасти като продължение на предишното ми статия за това как да идентифицирам двигателите на растежа в бизнеса, сега искам да отида по-надолу по заешката дупка и да разгледам как след това можете да измервате въздействието на инициативите за растеж. Ще предоставя някои инструменти за оценка на въздействието на действия като актуализации на продукти, PR и маркетингови кампании върху растежа на клиентите, показателите за задържане и ангажираността. Това представлява отражение от предишната ми работа като статистик, помагаща на компаниите да оценят въздействието върху тяхната оценка на вътрешни и външни събития чрез реакциите на техните търгувани ценни книжа.
Вярвам, че инструментите за статистическо въздействие, по-често срещани в хедж фондовете и света на Уолстрийт, могат да бъдат много по-полезни за технологичните компании за управление на растежа, отколкото как се прилагат в момента. Благодарение на технологията, която ни предоставя набор от високочестотна информация за поведението на потребителите или клиентите, квалифицирана статистика или данни анализатор може да бъде реален актив в търговските екипи.
Има много начини за измерване на въздействието на растежа
Като пример за измерване на статистическо въздействие върху оценката, нека приемем, че публично търгувана компания обявява нов продукт и иска да знае до каква степен е повлияла на оценката му. Оценката на реалното въздействие изисква отчитане на:
- Как самият пазар се представи през този ден, в контекста на корелацията на ценната книга с него.
- Ефектът на всяка друга свързана с компанията информация, публикувана по същото време.
- Простият факт, че цените на ценните книжа и поведението на потребителите се движат ежедневно от общите отклонения, дори при липса на нова информация.
- По-дългосрочно въздействие, по отношение на статистически значима тенденция в увеличението на цените.
За частна компания може да се направи един и същ анализ на промяната в активните потребители или клиенти, както в краткосрочен, така и в дългосрочен план, които служат като следствие от активността на цените на акциите. Това се отнася и за показателите за задържане и дълбочина на ангажираност.
Създаването на тази закръглена форма на анализ позволява на компаниите да насочват своите ограничени ресурси въз основа на далеч по-силни информационни сигнали, вместо да се заблуждават от това, което може да изглежда като реакция на пазара или потребителя, което всъщност представлява нищо повече от случайни колебания. Първоначалната работа за създаване на статистически модел, който разделя сигнала от шума, може да донесе огромни дивиденти чрез прозренията, които допринася за усилията за растеж на компанията. Това също е итеративен процес, който може лесно (и често автоматично) да се актуализира и усъвършенства при получаване на нови данни.
Избиране на целевата метрика за тестване
Всяко измерване на усилията на дадена компания трябва да е насочено към поне едно от следните измерения на растежа:
- Най-висок растеж , дефиниран като промяна в общите продажби или активни потребители / клиенти с течение на времето.
- Задържане на потребители и клиенти, дефиниран като средния живот на даден потребител или клиент.
- Дълбочината на ангажираност на потребители и клиенти, дефинирани като честота на основното предприето действие или обем на транзакции чрез платформата.
И трите измерения са количествено измерими и компанията може да концептуализира стойността си като площта на триъгълника, образуван от тези три точки. Ако единият се срине, тогава стойностният потенциал от другите два е силно ограничен. Макар че със сигурност съм съгласен с много основатели и инвеститори, че „няколко потребители, които те обичат, са по-добри от много, които те харесват“, не вярвам, че това противоречи на важността на растежа от най-висок клас в допълнение към силната ангажираност и задържане. Траекторията има значение много повече от нивото и като се започне с по-малка група истински отдадени потребители, най-напред се поставят първоначалните условия за дългосрочен растеж.
След това ключовата задача на компанията е да установи аналитичната рамка, която позволява измерване на истинските ефекти от действията им върху една или повече от тези три ключови метрики. Компанията може или да тества различни модели за всеки, или да използва инструменти като едновременни уравнения за да ги свържете по-директно. Според моя опит маркетинговите и PR усилия особено страдат от липсата на строг анализ на това дали компанията получава възвръщаемост на инвестициите си. Определени показатели, като общ брой изгледи, кликвания и споделяния, се записват почти винаги, но това са средства за постигане на цел и следващият въпрос за ефектите върху конверсията и ангажираността на клиентите рядко се дава сериозен анализ.
Избор на еталон и пример за еднократно събитие
Започваме с опростената версия на еднократно събитие. Да предположим, че компания пуска нова актуализация на продукта или публикува голяма PR история на Ден 0 и иска да знае дали представлява ход в правилната посока по отношение на ефекта върху растежа. Определянето дали е получен реален сигнал, че компанията трябва да продължи със сходни усилия, изисква да се знае колко се е увеличил, в сравнение с това колко би имал, ако отсъства въпросното събитие.
Бенчмарк растежът може да бъде оценен чрез регресионен модел, който предсказва растежа, задържането или ангажираността на компанията въз основа на външни и вътрешни променливи. В някои случаи възможността за изолиране на тези потребители, които са засегнати от актуализация на продукта, позволява директно A / B тестване с контролна група. Това обаче не е така за по-мащабните продуктови, PR и бизнес усилия, които засягат донякъде еднакво всички настоящи и потенциални потребители. Въпреки че има някои отлични ресурси за такова тестване, много компании на ранен етап могат да ги намерят за скъпи.
Променливите, които могат да бъдат взети предвид за този модел, включват:
| Тенденции в сектора |
|
|---|---|
| Насочете тенденциите към клиентите |
|
| S&P 500 плюс допълнителни секторни индекси |
|
| Макропроменливи като лихвени проценти и обменни курсове |
|
| Вътрешни драйвери като референтни цени |
|
| Сезонност / цикличност |
|
Всички променливи трябва да бъдат посочени като скорост на промяна, а не като абсолютно ниво, като се използват логаритми, а не проценти.
Времевата рамка за всяка променлива също трябва да бъде внимателно обмислена. Някои променливи са водещ (фондовият пазар например се основава силно на очакванията), докато други като рейтингите за удовлетвореност на потребителите се основават на предишен опит, но със сигурност могат да имат значение за очаквания растеж.
малки данни срещу големи данни
За самата регресия препоръчвам да започнете с Обикновени най-малки квадратчета (OLS) и след това преминава към други функционални форми по конкретни причини. OLS е универсален и по същия начин позволява по-директна интерпретация на резултатите от други по-сложни форми. Модификациите в контекста на OLS ще включват логаритмична регресия за нелинейни променливи, променливи на взаимодействие (например, може би текуща удовлетвореност на клиентите и активност в социалните медии) и променливи на квадратура, които смятате, че имат непропорционални ефекти при по-големи стойности. Тъй като растежът е надявам се експоненциален, логаритмичните регресии със сигурност биха могли да се окажат силни.
По отношение на времевия хоризонт на въздействие на действието, не забравяйте да вземете предвид честотата на действията или покупките на вашите потребители, за да ви помогне да определите правилния интервал, през който да търсите въздействието. Когато използвате времеви рамки, по-дълги от един ден, не забравяйте, че седмично активните потребители не са сумата от ежедневно активните потребители през тази седмица. Ако активно използвам продукта Ви всеки ден през тази седмица, тогава ще бъда отчитан всеки ден за ежедневен анализ. Ако след това преминете към седмичен анализ, трябва да се покажа само веднъж и следователно сумирането на отделните дни би прекалило.
Тогава този модел ви позволява да оцените очаквания растеж / задържане / ангажираност за всеки даден момент или текущ период от време въз основа на ефективността на тези обяснителни променливи. Тогава разликата между този очакван растеж и действителния растеж, наблюдаван след събитието, е ненормалната част, която може да показва въздействие. Разделянето на този ненормален растеж на стандартното отклонение на очаквания растеж показва колко вероятно е анормалният компонент да се случи случайно. Обикновено резултат от 1,96 (което е приблизително две стандартни отклонения от прогнозираната стойност) се използва като предел, за да се счита, че не е възникнал случайно.
В контекста на кохортите задържането и ангажираността могат да се разглеждат по отношение на промяна в последователни кохорти (с други думи, задържане на стойностите, фиксирани за всяка кохорта), или промяната във времето на общото задържане и ангажираност, без да се разбива по кохорта.
Кумулативно въздействие върху растежа от поредица от събития
Стратегиите за растеж често имат за цел да разгърнат поредица от събития, а не еднократни усилия, както за по-непосредственото въздействие на многобройните усилия, така и за основното въздействие от показване на самия модел на клиентите. Следователно анализът на въздействието може да разгледа и кумулативното въздействие. Поредица от събития, които са индивидуално незначителни, могат да доведат до значително кумулативно въздействие и обратно, поредица от значими събития могат да се придадат на незначителност.
Първата ситуация може да се разглежда като „бавна и стабилна победа в състезанието“. Да приемем, че продажбите ви се увеличават с част от процента на седмица по-бързо от съответния сектор. За кратък период от време това не би означавало нищо, тъй като растежът на всяка дадена компания ще се различава малко от референтния показател случайно. Ако обаче вашето леко свръх изпълнение продължава достатъчно дълго, тогава в крайна сметка можете да заявите с увереност, че темпът на растеж на компанията наистина надвишава пазарния.
Втората ситуация е по същество какъвто и да е обрат. Все по-високочестотните средства, чрез които хората могат да реагират на събитията, преди наистина да обработят информацията, както и манталитетът на стадото в краткосрочен план, поставя предизвикателството да гарантирате, че разглеждате истинската величина и продължителност на реакцията чрез по-непосредствения шум. При определени обстоятелства потребителите и пазарите може да са склонни да реагират систематично в краткосрочен план (нови технологии, валутни пазари и често лоши новини, които не представляват сериозна заплаха за дадена компания), но след това да се коригират.
Двете ситуации могат да бъдат илюстрирани по следния начин. Интервалът на доверие показва границите, в които можем да очакваме 95% от наблюденията да паднат, което обикновено се използва като праг за определяне на нещо статистически значимо.
Липсата на съществен обрат може да се приеме като доказателство за трайно въздействие. Човек трябва да бъде предпазлив с тази логика, тъй като противоречи на нормалното правило на емпиричния скептицизъм, че липсата на доказателства не е доказателство за отсъствие, но е най-доброто, което можем да направим.
Бъдете внимателни при сравняване на проценти / логаритмични промени през отделни периоди от време. Намаляването от 99%, последвано от увеличение от 99%, не съвпада точно с незначителна кумулативна промяна. Не забравяйте да помислите за кумулативна промяна в края.
Ако измервате кумулативното въздействие на серия от събития като конкретна PR кампания в рамките на ограничен период от време (т.е. празничен сезон), тогава може да пожелаете да проследите растежа през всички календарни дни или седмици, включени в периода , независимо дали всеки е предприел конкретно действие. Все още се надявате, че ударът 1-2-3 ще доведе до нокаут в рамките на определен период, дори ако може да има малки закъснения между ударите.
Ако въпросните събития са по-отдалечени, но все пак искате да оцените кумулативното въздействие, може да помислите да ги съберете в една непрекъсната поредица дни и след това да извършите същия анализ. В това вие по същество казвате „Ден 1 е 5 януари, Ден 2 е 15 март, Ден 3 е 10 април ...“) и тествате тяхната кумулативна промяна спрямо тази, предсказана от бенчмарка, сякаш те всъщност са напълно последователни дати. Тогава тестването на значимостта е същата формула, както при единични събития, с изключение на това повишаване на стандартното отклонение до квадратния корен на броя дни / седмици, които формират кумулативния период.
компилиране на C++ код
Справяне със замърсена информация при измерване на растежа на компанията
Светът рядко ни предоставя любезността на перфектни лабораторни условия, за да изпробваме идеите си, така че след като се установи основният модел, най-вероятно ще трябва да контролира друга информация, която влияе на очаквания темп на растеж едновременно с действията, които отново се опитва да измери.
Да приемем, че едновременно с PR събитие или актуализация на продукта, топ изпълнителен директор за съжаление решава да се оттегли за конкурент на фона на много фанфари от пресата и вие се притеснявате, че някои потребители могат да приемат това като сигнал за относителните достойнства на два продукта. Едно много бързо решение за съжаление е просто да маркирате точката с данни като объркано несвързано събитие с променлива на индикатора.
Ако обаче можете да получите данни за предишни случаи на „объркващото“ събитие, тогава можете да проведете a анализ на напречното сечение което ви позволява да предскажете доколко въздействие има дадено събитие при подобни обстоятелства и можете да премахнете това очаквано въздействие от крайните резултати. В горния пример данните за активността на потребителите около напусканията на високопоставени членове на екипа в други компании ще ви позволят да оцените и отделите ефекта от този конкретен фактор, за да изолирате ефекта от PR събитието или актуализацията на продукта, който сте се надявали да оцени.
Много компании също могат да се сблъскат със сезонност, базирана на времето от годината или определени ключови моменти като празници. Задайте променливи на индикатора към въпросното време на годината, за да контролирате това.
Нелинейностите на някои въздействия
Докато разглеждате резултатите от вашия анализ и стратегии за усилията за растеж, си струва да имате предвид някои нелинейни ефекти в начина, по който хората са документирани да реагират на положителни събития.
Чувствителността нагоре спрямо надолу може да бъде много различна. Данните и времето позволяват, помислете за оценка на очакваните ефекти както от положителни, така и от отрицателни събития, ако и двете са от значение за вас. За съжаление, движенията надолу в много случаи, вариращи от поведението на потребителите до финансовите пазари, могат да бъдат много по-резки и по-тежки от движенията нагоре.
преоразмеряване на изображения в адаптивен мобилен дизайн
Комбинираният ефект от извършването на множество действия наведнъж може да не се равнява на това да ги изпълнявате последователно, защото самият факт на текущия модел може сам да има положителен или отрицателен ефект. Моделът на компания, която публикува актуализация на продукта всеки месец, може да вдъхне доверие на потребителите, като същевременно обявява негативни събития като съкращения или отписвания повече от веднъж може да има значително непропорционален ефект, причинявайки безпокойството, че компанията не разбира напълно собствените си ситуация. Публично търгуваните компании често се 'къпят' и пускат всички лоши новини наведнъж, тъй като може да има първоначален 'фиксиран' удар от самия факт на лошите новини, с незначителен последващ ефект. „ Торпедо ефект , ”Например описва емпиричния феномен, че самото наличие на лоши новини може да доведе до значителна част от спада на цените. Следователно отрицателните спадове могат да бъдат разделени на първоначален фиксиран ефект, който отстъпва на намаляващия пределен ефект от действителното съдържание на новините или разработката. PR кампаниите работят по-добре като последователност от едно единично мегасъбитие, тъй като целта е да се позиционира компанията във времето.
Различието, разбира се, може да бъде измерено само в исторически план, но някои събития могат да променят основните истински отклонения и вероятността анормалният растеж да се е случил случайно. Тъй като новата дисперсия сама по себе си е резултат от въпросното събитие, трябва да се използва предишната дисперсия, за да се избегнат кръговите разсъждения за отхвърляне на значимостта на събитието въз основа на по-голямата дисперсия, която идва с него. Както винаги обаче, има дебат и всяка ситуация може да е различна.
Както бе споменато по-горе, растежът или забавянето на растежа могат да доведат до подобни ефекти за известно време, както поради човешката психология, така и поради много реални пазарни структури. Въпреки че са налични различни изискани автокорелационни тестове за измерване на импулсни ефекти, намирам, че по-„ръчният“ подход за регресиране на серията растеж на изоставаща версия е по-прозрачен и по-лесен за експериментиране.
Заключителни мисли за подхода към машинното обучение в бизнеса
След като е разработен моделът, който позволява такова тестване, няма причина платформите на компанията за проследяване на поведението на потребителите, продажбите и т.н. да не могат да бъдат директно свързани с нейния код за непрекъснато актуализиране на коефициентите при получаване на нови данни. Моето лично предпочитание винаги е било да имам подвижен едногодишен период за оценка, когато е възможно, тъй като той балансира размера на набора от данни с по-високата стойност на по-новата информация и също така естествено включва всички времена на годината в случай на сезонност.
Ако приемем, че няма структурни прекъсвания в естеството на бизнеса и продукта, няма причина да не се удължава периодът за оценка над една година, но младите бързо растящи компании са склонни да се развиват бързо. Управляваните от софтуер компании могат да се свържат директно към своя GitHub, за да създадат процес, чрез който софтуерните актуализации автоматично се тестват за въздействие. Създавайки тази пряка връзка и позволявайки на функциите да се развиват автоматично, вие направихте първата стъпка към внедряването на машинно обучение за вашата компания.
Често се изтъква как информацията е най-ценната стока в света, но по-рядко се споменава, че данните не са информация. Напротив, компаниите са затрупани с толкова много данни, които може да изглеждат, че разказват конкуриращи се разкази, много от които могат да бъдат просто фалшиви модели, основани на случайност. Статистиката в най-добрия случай е процес на намаляване - на бързо усъвършенстване на ключовите променливи и взаимоотношения и тяхното внедряване за практически тестове. Духът на тази форма на анализ е преди всичко да вдъхне здравословен скептицизъм в процеса на вземане на решения, като принуди данните да се докажат като реална информация, преди да вземете решение за това.
Разбиране на основите
Как се измерва растежът.
Растежът се измерва по три променливи: растеж на върха (промяна в общите продажби или активни потребители / клиенти във времето), задържане (среден живот на даден потребител или клиент) и дълбочина на ангажираност (честота на основното действие, предприето или обем на транзакции чрез платформата).
Защо задържането на клиенти е толкова важно.
Задържането на клиенти едновременно увеличава надеждността на приходите и може да се разлее, за да увеличи растежа на новите потребители. Щастливите клиенти са задържани клиенти, които са по-склонни да евангелизират продукта / услугата до нови перспективи
