Por que a ciência de dados é importante?

Sequóia

7 de março

No primeiro post de nossa série sobre a construção de empresas informadas com dados , compartilhamos os ingredientes mais importantes necessários para construir uma empresa informada por dados: foco singular no impacto e construção de uma cultura informada por dados. Neste segundo post, vamos nos concentrar no porquê da ciência de dados é importante e discutir o futuro da ciência de dados no contexto da construção de produtos.

O que, exatamente, é ciência de dados? A ciência de dados é uma disciplina científica e de busca da verdade que usa dados para extrair conhecimento e insights. A ciência de dados é uma das funções de crescimento mais rápido e já está fornecendo um enorme valor em todos os setores e áreas de estudo. No entanto, a ciência de dados ainda está em sua infância e, como em qualquer campo em desenvolvimento, muitas vezes é tentador colocar limites em torno de sua definição. Em vez de categorizar o que conta ou não como ciência de dados ou argumentar sobre por que devemos ser informados em dados, mas não baseados em dados, acreditamos que é mais importante deixar espaço para a disciplina evoluir organicamente.

Por que a ciência de dados é importante?

Começar uma empresa de tecnologia, construir um bom produto e ganhar força ficou mais fácil graças à conectividade aprimorada, ao declínio dos custos de armazenamento e computação em nuvem e à acessibilidade das plataformas de distribuição para atingir o público-alvo. Como resultado, o tempo que leva um produto para atingir 100 milhões de usuários ativos mensais diminuiu drasticamente e continua encolhendo hoje. Por exemplo, levou cerca de 100 meses para o iTunes atingir 100 milhões de usuários ativos mensais em 2003 e meros dias para o Pokémon Go fazer o mesmo. O gráfico abaixo tem mais alguns bons exemplos, começando pelo telefone.

A combinação de mais produtos criados, mais dispositivos conectados à Internet comprados e o aumento do tempo gasto on-line causaram um aumento no volume de dados de interação do usuário. Tem havido um tremendo interesse em minerar esses dados e obter informações importantes para ajudar a criar ótimos produtos. A capacidade de uma empresa para competir agora é medida pelo grau de sucesso com que ela aplica analítica a conjuntos de dados vastos e não estruturados em diferentes fontes para impulsionar a inovação de produtos. Portanto, os cientistas de dados estão em alta demanda, e que uma equipe de cientistas de dados inteligentes pode fazer ou quebrar um produto.

Esse crescente interesse em dados de mineração por insights levou as equipes de produtos a usar os dados para se concentrarem em quatro resultados específicos.

1. Avalie a saúde do negócio: Um dos principais resultados da análise do produto é avaliar a saúde de um produto ou de uma empresa. Depois de definirmos o sucesso do produto por meio de uma meta e uma métrica, a próxima etapa é monitorar a métrica para garantir que estamos no caminho certo para atingir a meta. Taticamente, os analistas trabalham na identificação de outliers, entendendo os fatores que impulsionam as mudanças nas métricas, criando painéis / relatórios / visualizações etc.
2. Envie os produtos e recursos certos: Outro papel muito importante da análise é garantir que os produtos e recursos certos sejam criados. Muitas empresas realizam vários experimentos e enviam produtos após avaliar os resultados desses experimentos. Normalmente, os cientistas de dados ajudam a projetar experimentos, identificar hipóteses baseadas em dados sobre fenômenos e orientar a equipe de produtos na otimização constante do produto por meio das percepções de dados.
3. Resultados de previsão e sistemas de produção de energia - Outro papel dos cientistas de dados é construir protótipos / modelos e sistemas de produção de energia usando AI / ML. Esses cientistas de dados treinam modelos de aprendizado de máquina de um fenômeno para prever expectativas e tendências futuras.
4. Definir roteiro e estratégia para o produto: exploração e análise mais profundas da jornada do usuário e dos fenômenos geram insights acionáveis ​​que, em última análise, resultam na definição do roteiro e da estratégia do produto. Roteiro e estratégia orientada por dados é um dos resultados mais importantes de uma equipe de análise de produto de classe mundial.

Esses quatro resultados levaram especificamente a dois tipos diferentes de cientistas de dados na indústria - analistas de produtos e desenvolvedores de algoritmos.

O QUE OS CIENTISTAS DE DADOS FAZEM?

O título de cientista de dados engloba várias funções que variam significativamente entre empresas e setores. Dito isso, em geral, existem dois campos principais de cientistas de dados:

1. Analistas de produtos, cuja função é fornecer histórias informadas por dados que defendam uma mudança no produto ou na estratégia. Por exemplo, o nosso sistema de entrega de notificações por SMS está quebrado na Índia. Como resultado, precisamos nos concentrar em melhorar as notificações por SMS na Índia, o que ajudará a aumentar o crescimento.
2. Desenvolvedores de algoritmos, cuja função é incorporar recursos orientados a dados em produtos (por exemplo, otimização de recomendações ou resultados de pesquisa). Por exemplo, os níveis de fraude na Indonésia aumentaram. Construa um novo modelo que se concentre na recente tendência de fraude na Indonésia.

Os analistas de produtos se concentram no estabelecimento de metas e na informação de roteiros e estratégias de produtos. Eles ajudam a melhorar os produtos avaliando e compreendendo sua saúde e fornecendo decisões de produto (em grande parte por meio de experimentação). A entrega geral de analistas de produto é um documento para a equipe do produto que narra problemas quantificáveis, oportunidades identificadas e recomendações e soluções baseadas em dados.

O principal trabalho de um desenvolvedor de algoritmo é alavancar dados para melhorar o desempenho do produto em busca de um objetivo final específico, geralmente prevendo resultados ou construindo sistemas de produção . Os desenvolvedores de algoritmos geralmente usam aprendizado de máquina e outras técnicas algorítmicas complexas para fazer previsões baseadas em entradas de grandes quantidades de dados. Em geral, os desenvolvedores de algoritmos prototipam as soluções propostas e trabalham em conjunto com as equipes de engenharia para implementá-las na produção. A entrega dos desenvolvedores de algoritmos é o código e a documentação prototipados que são fornecidos à equipe de engenharia.

Embora ambos os tipos de cientistas de dados exijam uma perspectiva analítica, habilidades quantitativas e a capacidade de priorizar, é raro encontrar uma pessoa que possa atender às duas funções. Os desenvolvedores de algoritmos exigem conhecimento técnico mais sofisticado, como aprendizado de máquina e inteligência artificial, e um nível de habilidades de engenharia de software mais próximo dos engenheiros. Os analistas de produto são principalmente solucionadores de problemas que são diferenciados com base em seus negócios, produtos e capacidade de se comunicar efetivamente com uma ampla variedade de partes interessadas.

Embora apenas algumas organizações exijam desenvolvedores de algoritmos, todas as empresas, especialmente aquelas com uma base significativa de usuários, se beneficiam de analistas de produtos que podem ajudar a navegar por desafios estratégicos, competitivos e de outros produtos. Posteriormente, nesta série de posts, forneceremos orientações adicionais sobre contratação, treinamento, treinamento e gerenciamento de analistas de produtos para que eles possam contribuir nos níveis mais altos.

Então, as empresas precisam contratar desenvolvedores de algoritmos e ser mais orientadas a dados ou devem contratar analistas de produtos e ser mais informados sobre os dados? Os resultados são puramente orientados a dados quando os dados são o único sinal necessário para tomar uma decisão. Em contraste, nas decisões informadas por dados, os dados são uma entrada forte, mas não a única entrada. De modo geral, os analistas de produtos são informados por dados e os desenvolvedores de algoritmos são orientados a dados.

EVOLUÇÃO DA CIÊNCIA DOS DADOS

Imagine um mundo em que uma máquina sabe tudo sobre você e pode comprar para você sem pedir explicitamente; conhece a comida que você gosta e cozinha para você; conhece suas escolhas e pode tomar decisões por você e sabe o que é bom para você e planeja sua vida. Este mundo está distante no futuro e requer Inteligência Artificial para ocupar grande parte de nossas vidas. Para progredirmos em direção a esse sonho, precisamos nos tornar ainda mais orientados a dados.

Em um mundo perfeito com informações perfeitas e uma compreensão completa de todos os drivers do seu sistema e como eles interagem uns com os outros, as duas abordagens convergiriam. Para construir um modelo perfeito, o fenômeno em estudo precisa ser completamente compreendido; a relação entre os dados e o fenômeno pode ser descrita por um modelo perfeito (e rico conjunto de recursos associados). A fim de evoluir para esse nível de perfeição e também progredir nesse ínterim, o mundo precisará continuar a progredir na tomada de decisões informadas por dados. ou seja, precisamos continuar aumentando nossa tomada de decisão por outras medidas subjetivas que não podem ser facilmente quantificadas ainda. Quando começamos a ter uma compreensão mais profunda das relações entre os objetos, mais e mais processos serão automatizados e o futuro será mais orientado a dados do que dados. No entanto, a tomada de decisões informada por dados continuará a ser extremamente importante nas próximas décadas, e a tomada de decisões orientada por dados só melhorará com os avanços das pessoas que são informadas sobre os dados.

É mais ilustrativo compreender as diferenças entre a tomada de decisão informada pelos dados e a tomada de decisão baseada em dados por meio de exemplos.

• Definindo metas . Bons objetivos são mensuráveis ​​e quantificáveis. Ser capaz de identificar e rastrear objetivos se tornará cada vez mais orientado por dados. Por exemplo, o rastreamento do Facebook de seus usuários ativos pode ser completamente automatizado. No entanto, a definição das metas trimestrais e anuais corretas para usuários ativos e receita talvez seja apenas parcialmente automatizada e continuará a ser informada por dados.
• Definindo um roteiro e estratégia. O estabelecimento de um roteiro e estratégia não é quantitativo e, portanto, requer abordagens informadas por dados. Por exemplo, usando dados, um roteiro pode ser desenvolvido para aumentar o uso ativo diário, concentrando-se na notificação por SMS. Um bom roteiro considera os objetivos relevantes, os impulsionadores dessas metas, as alavancas que a equipe de produto possui e todos os cursos de ação que podem ser tomados. Muito disso é qualitativo, portanto, o processo de construção de um roteiro e definição de estratégia é primariamente informativo.
• Previsão resultados . Os resultados de previsão são principalmente orientados por dados. Por exemplo, descobrir ou não uma história para um usuário exigiria a compreensão de vários fatores, incluindo a probabilidade de um usuário clicar ou ler essa história. As empresas normalmente desenvolvem modelos, que são continuamente repetidos, para prever esse resultado específico.
• Alimentando sistemas de produção. Para empresas como o PayPal identificarem atividade fraudulenta de qualquer transação, é proibitivamente caro fazer isso manualmente para todas as transações. Como resultado, eles dependem muito do aprendizado de máquina para alimentar seus sistemas de produção e automatizar o cálculo da probabilidade de uma transação ser ruim. Grande parte da tomada de decisão que segue a avaliação da probabilidade também é automatizada. No entanto, em áreas onde há níveis mais baixos de confiança nas avaliações de probabilidade, o processo de decisão pode ser informado pelos dados.

TAKEAWAYS

• Melhorar produtos e monetizar através de dados tornou-se uma vantagem competitiva nos últimos anos. Uma organização de dados forte e bem organizada é um forte diferenciador.
• Os cientistas de dados estão conduzindo as principais decisões sobre produtos entre empresas e criando algoritmos de última geração para melhorar a tomada de decisões.
• O mundo continuará a se tornar cada vez mais orientado por dados, mas a tomada de decisões informada por dados continuará sendo relevante.