Prévia do material em texto
Tema 1: Introdução a Inteligência de Negócios Prof. Dr. Lawrence Chung Koo Aula 1: Inteligência de Negócios Sumário 1. Introdução 2. Inteligência de Negócios 3. Framework de uma Solução de BI 4. Qualidade da Fonte de Dados 4.1 Extração 4.2. Transformação e carregamento Pontuando 1. Introdução Mercado • Diversificado • Mercado mais competitivo • Aceleração na comunicação • Qualidade x Rapidez • Pressão de custos • Cliente com poder de escolha • Maior oferta Fonte Imagem: http://pixabay.com 1. Introdução Empresa • Ferramenta para auxiliar nos processos internos (ERP e CRM) • Administração com qualidade e planejamento (PMBOK) • Qualidade nos produtos e serviços (ISO, CMMI e INMETRO) • Garantir um diferencial competitivo Sumário 1. Introdução 2. Inteligência de Negócios 3. Framework de uma Solução de BI 4. Qualidade da Fonte de Dados 4.1 Extração 4.2. Transformação e carregamento Pontuando Revista Exame, 15 de maio de 2002 Peter Drucker O GURU dos gurus “Os acontecimentos mais importantes para determinar o futuro já aconteceram , e de forma irrevogável” Prof. Dr. Lawrence Chung Koo Thomas Jefferson “The possession of facts is knowledge, the use of them is wisdom” Prof. Dr. Lawrence Chung Koo Knowledge GapDados 1960 1970 1980 1990 2000 2010 2020 Disponibilidade de Dados e Informações Potencial Analítico Knowledge Gap Prof. Dr. Lawrence Chung Koo Inteligência de Negócios Ferramentas Analíticas Competência Analítica A competência competitiva depende essencialmente das capacidades analíticas em Negócio e Tecnologia TecnologiaQuestões de negócio Fonte: Kugler 2013 2. Inteligência de Negócios Definição • Conjunto de ferramentas • Relatórios, painéis de negócio, gráficos, etc. • Informações com conteúdo preciso • Auxiliam os alto executivos na tomada de decisão • Decisões rápidas e assertivas Fonte Imagem: http://pixabay.com 2. Inteligência de Negócios Benefícios • Redução de tempo • Redução do custo • Aumento do retorno de investimento • Aumento das novas receitas • Definição de uma verdade única • Melhores estratégias, planos, táticas e decisões • Melhoramento de processos Fonte Imagem: http://pixabay.com 2. Inteligência de Negócios Parte Organizacional • Definição do plano estratégico da empresa • Qual é a necessidade de cada setor? • O que desejamos avaliar? • Quais índices serão avaliados? • Quais metas devemos atingir? • Quais tipos de análises queremos que sejam feitas? Fonte Imagem: http://pixabay.com Gap Analysis Cadeia de valor Questões críticas de negócio Métricas de desempenho Gestão de desempenho Reflexão estratégica Controle, avaliação e melhorias Trilha gerencial Trilha informacional Trilha técnica Projetos analíticos Competência Analítica Fonte: Kugler, 2013. É a capacidade coletiva de conciliar e conduzir projetos e iniciativas analíticas que enderecem de forma efetiva as questões críticas de negócio. Competência Analítica Fonte: Kugler, 2013. Relatórios e Consultas O que aconteceu? Por que aconteceu? Como aconteceu? E se...? Esboçar e testar relações causais O que pode acontecer? Aprofundar relações causais Monitorar eventos e operações Melhorar a alocação de recursos Sincronizar operações e processos Experimentar e validar alternativas Antecipar, explorar e prevenir Competência Analítica Desafio Gerencial Foco de Análise OLAP, KPIs e Dashboards Segmentação, Scores e Simulações Cenários e Modelos Preditivos a aa Aa AA Competência Analítica Fonte: Kugler, 2013. Otimizar operações e processos 2. Inteligência de Negócios Parte Tecnológica • É um conjunto de ferramentas dividas em 4 etapas: • Aquisição de dados/ETL: de acordo com o que foi levantado na parte organizacional, os dados são coletados, extraídos, transformados armazenados; • Armazenamento de dados: os dados são armazenados em data warehouses e data marts; Fonte Imagem: http://pixabay.com 2. Inteligência de Negócios Parte Tecnológica • Acesso e análise dos dados: ferramentas irão possibilitar aos usuários o acesso às informações e também fornecer meios para realizarem análises. • Desempenho e estratégia: é a fase final onde as ferramentas são voltadas para estratégia de negócio, baseadas principalmente na metodologia do BSC (Balanced Scorecard) de gestão de negócios. Fonte Imagem: http://pixabay.com Tema 2: Framework Solução BI Prof. Dr. Lawrence Chung Koo Tecnologias e Soluções em TI Inteligência de Negócios Sumário 1. Introdução 2. Inteligência de Negócios 3. Framework de uma Solução de BI 4. Qualidade da Fonte de Dados 4.1 Extração 4.2. Transformação e carregamento Pontuando 3. Framework de uma Solução de BI Fonte Imagem: http://pixabay.com 3. Framework de uma Solução de BI Aquisição de Dados • Bancos de dados operacionais (transacionais) • ERP (Enterprise Resource Planning – Planejamento de Recursos da Empresa) • CRM (Costumer Relationship Management – Gerenciamento de Relacionamento com o Cliente) • Bancos de dados externos (IBGE, Banco Central, Indicadores do MEC) Fonte Imagem: http://pixabay.com 3. Framework de uma Solução de BI ETL (Extraction, Transformation and Load – Extração, Transformação e Carregamento) • Limpeza • Organização • Formatação • Estruturação • Informações com verdade única • Carregamento no banco de dados Fonte Imagem: http://pixabay.com 3. Framework de uma Solução de BI Acesso e análise dos dados • Ferramentas para auxílio da visualização e análise dos dados • Relatórios • Dashboards (painéis de bordo) • Ferramentas de data mining (mineração de dados) • Algoritmos inteligentes • Metodologias matemáticas Fonte Imagem: http://pixabay.com 3. Framework de uma Solução de BI Desempenho e estratégia • Ferramentas baseadas no gerenciamento de negócio • Metodologia BSC (Balanced Scorecard) • BPM (Business Performance Management – Gerência de Performance de Negócios) • BAM (Business Activity Monitoring - Monitoramento de Atividades de Negócios) Fonte Imagem: http://pixabay.com Sumário 1. Introdução 2. Inteligência de Negócios 3. Framework de uma Solução de BI 4. Qualidade da Fonte de Dados 4.1 Extração 4.2. Transformação e carregamento Pontuando Tema 3: Qualidade dos Dados - Extração Prof. Dr. Lawrence Chung Koo Tecnologias e Soluções em TI Inteligência de Negócios 4. Qualidade da Fonte de Dados Primeira fase do framework de BI – Aquisição de dados • Bancos de dados de outras empresas • Bancos de dados das filiais • Fontes externas de dados • Data warehouses • Data marts 4. Qualidade da Fonte de Dados Cliente Nome Est. Civil Maria Casada José Solteiro Pessoas Nome Civil Maria C José S Cliente Produto DataEndereço VendasId_cliente Nome CPF Id_prod Desc. Valor Id_end Lograd. Num. Id_data Dia Mês Id_cliente Id_prod Id_end Id_data Qtd 4. Qualidade da Fonte de Dados Problemas • Padrões diferentes • Nomenclaturas diferentes • Grande volume de informação • Armazenagem diferentes • Como correlacionar tanta informação? • Se a fonte dos dados não for bem tratada, isso será refletido em resultados de pouco valor Fonte Imagem: http://pixabay.com 4. Qualidade da Fonte de Dados O que precisamos? • Informações únicas • Compatibilidade de dados • Formatação nas estruturas do banco de dados • Limpeza dos dados que não serão utilizados • Manutenção dos dados • Como? Sumário 1. Introdução 2. Inteligência de Negócios 3. Framework de uma Solução de BI 4. Qualidade da Fonte de Dados 4.1 Extração 4.2. Transformação e carregamento Pontuando Tema 4: Qualidade dos Dados – Transformação e Carga Prof. Dr. Lawrence Chung Koo Tecnologias e Soluções em TI Inteligência de Negócios 4. Qualidade da Fonte de Dados Segunda fase do framework de BI – ETL (Extraction, Transformation and Load – Extração, Transformação e Carregamento) 4. Qualidade da Fonte de DadosSegunda fase do framework de BI – ETL Extração • Mapeamento: verifica os campos das tabelas e estabelece relacionamentos entre campos iguais, tentando obter equivalência entre os dados. Cliente Nome Est. Civil Maria Casada José Solteiro Pessoas Nome Civil Maria C José S 4. Qualidade da Fonte de Dados Extração • Criar perfil dos dados: analisa e identifica problemas de qualidade. São criadas métricas para medir a qualidade dos dados nos campos específicos de uma tabela. Cliente Nome String Idade String CPF String Cliente Nome String Idade Numeric CPF Numeric String = caracteres Numeric = números 4. Qualidade da Fonte de Dados Extração • Corrigir / Limpar: prepara os dados de cada registro corrigindo e padronizando para serem utilizados. Categorias Crianças 0 ~ 20 Adultos >= 21 Pessoas Ana 15 Maria 36 José Pessoas Ana Adulto Maria Adulto José Adulto Pessoas Ana Criança Maria Adulto 4. Qualidade da Fonte de Dados Extração • Monitorar: : controla a qualidade ao longo do tempo. São criadas regras com limite de tolerância para a qualidade dos dados juntamente com alertas para quando exceder o limite permitido. Categorias Crianças 0 ~ 20 Adultos >= 21 Pessoas Ana 15 Maria 36 José Pessoas Ana Adulto Maria Adulto José Adulto Alarme Sumário 1. Introdução 2. Inteligência de Negócios 3. Framework de uma Solução de BI 4. Qualidade da Fonte de Dados 4.1 Extração 4.2. Transformação e carregamento Pontuando 4.2. Transformação e carregamento Transformação • Parte organizacional • Quais foram os índices definidos? • Quais análises devem ser feitas? • Somatórios, contagens, agrupamentos e estatísticas • A análise das diversas informações devem levar a uma verdade única 4.2. Transformação e carregamento Transformação • A parte organizacional é fundamental para o sucesso do BI • Todas as questões levantadas na parte organizacional devem constar na modelagem • Modelagem do data warehouse e/ou data marts • Criação das tabelas dimensões e fatos 4.2. Transformação e carregamento Carregamento • Seleção do gerenciador de banco de dados • Criação das tabelas dimensão e fato • Conjuntos de comandos complexos no banco de dados para preencher as tabelas • Carregamento Sumário 1. Introdução 2. Inteligência de Negócios 3. Framework de uma Solução de BI 4. Qualidade da Fonte de Dados 4.1 Extração 4.2. Transformação e carregamento Pontuando Pontuando • Para as empresas se tornarem competitivas, elas precisaram oferecer não só serviços de qualidade, mas também um diferencial. Em busca deste, surgiu o BI que é um conjunto de aplicações e ferramentas que ajudam os alto executivos a tomarem decisões estratégicas; Pontuando • A estrutura básica de um BI é composta por quatro segmentos: aquisição de dados, armazenamento de dados e análise com acesso aos dados e desempenho e estratégia; • Dados de qualidade geram análises precisas e confiáveis; • É importante considerar as informações levantadas na parte organizacional do BI, pois é a partir dela que o data warehouse e/ou data marts serão estruturados. Pontuando As principais alternativas para estruturar as camadas analíticas são: 1. Data warehouse centralizado. 2. Vários data marts descentralizados. 3. Ou uma estrutura híbrida, que busca conciliar centralização e descentralização. A correta identificação das questões críticas de negócio direciona o fluxo de alimentação das camadas analíticas. Veremos esses ponto mais detalhadamente nas próximas aulas Tema 1: Introdução a Data Warehouse Prof. Dr. Lawrence Chung Koo Sumário 1. Introdução 2. Data Warehouse 3. Data Mart 4. Metadados 5. Modelo multidimensional Pontuando 1. Introdução Fase de armazenagem • Data warehouse (visão de todo o negócio) • Data mart (dividido por assunto ou departamentos) • Metadados (informação sobre os dados) • Como essas informações estão armazenadas? Fonte Imagem: http://Office.com Gestão e Operação Dados Operacionais e Externas ExtraçãoTransformação Carga Armazenagem DW Áreas de Negócio Busca e Entendimento Análise e Descoberta Elemento de Dados Mapeamentos Business Views Processo de Datawarehousing Prof. Dr. Lawrence Chung Koo 1. Introdução Fase de armazenagem Sumário 1. Introdução 2. Data Warehouse 3. Data mart 4. Metadados 5. Modelo multidimensional Pontuando 2. Data Warehouse Definição • O data warehouse pode ser considerado um banco de dados voltado a um conjunto de assuntos. Ele extrai informações valiosas das diversas fontes de dados e as armazena no banco de dados único de um forma estruturada para atender as ferramentas de suporte à decisão. 2. Data Warehouse Definição • Ralph Kimbal define o data warehouse como um conjunto de data marts. • Bill Inmon, define o data warehouse como sendo uma estrutura que possui as seguintes características: orientado a assunto, integrado, não volátil e variável no tempo. Fonte Imagem: http://Office.com 2. Data Warehouse Definição Ralph Kimball define o data warehouse como um conjunto de data marts que representa os focos de análise de forma intuitiva, facilitando a filtragem e agregação dos dados gerenciais. Bill Inmon define o data warehouse como uma base de dados orientada por assuntos, integrada, não volátil, com histórico cumulativo indexado no tempo. Ralph Kimball Fonte da imagem: Intelligent Enterprise, 2007. Google image Bill Inmon Tema 2: Data Warehouse e Data Mart Prof. Dr. Lawrence Chung Koo 2. Data Warehouse Características: • Orientado a assunto: as suas estruturas devem ser organizadas de forma a atender a necessidade de se estudar um determinado assunto. • Departamento de vendas : Produtos x Mês • Departamento de marketing: Avaliar o produto durante o ano Fonte Imagem: http://Office.com 2. Data Warehouse Características: • Integrado: deve armazenar informações de diferentes fontes de dados de forma consistente. Ou seja, deve ter seus dados apurados por ferramentas de ETL. 2. Data Warehouse Características: • Não volátil: isto significa que o banco de dados não pode ser atualizados, eles são somente consultados. • Variável no tempo: os dados devem ser armazenados de acordo com o momento do carregamento. • Permite que a mesma consulta seja retornada com o mesmo dados Fonte Imagem: http://Office.com Arquitetura DW – Bill Inmon Prof. Dr. Lawrence Chung Koo Fonte: The Data Warehouse Toolkit – R. Kimball Transações Fontes A q u is iç ã o d e d a d o s EDW (DW Corporativo) Tabelas em 3ª. Forma Normal Dados Atômicos Pesquisável Pelo Usuário D a ta D e li v e ry Data Mart - Dimensional - Geralmente Sumarizado - Departamental A p li c a ç õ e s B I Back room Front room Arquitetura DW – R.Kimball Prof. Dr. Lawrence Chung Koo Fonte: The Data Warehouse Toolkit – R. Kimball Transações Fontes E T L EDW (DW Corporativo) Tabelas em 3ª. Forma Normal Dados Atômicos E T L Área de Apresen- tação - Dimensional (Star Schema ou Cubos OLAP) - Dados atômicos e sumarizados - Organizados pelos processos de Negócios - Utilizados na suas dimensões A p li c a ç õ e s B I Back room Front room EDW BUS 2. Data Warehouse Características: • Variável no tempo: Cliente Nome Est. Civil Maria Casada José Solteiro 10/01/10 Cliente Nome Est. Civil Maria Casada José Solteiro Ana Solteira João Casado 10/01/11 2. Data Warehouse Estrutura: 2. Data Warehouse Diferenças entre BI e Data Warehouse: • Inteligência de negócios • Utilização da tecnologia de data warehouse • Ferramentas de apoio a tomada de decisão • Voltado a negócios • Parte organizacional Sumário 1. Introdução 2. Data Warehouse 3. Data Mart 4. Metadados 5. Modelo multidimensional Pontuando O que é um Data Mart Data Mart “Uma implementação de um DW com um escopo menor e mais restrito de dados e funções, servindoa um único departamento ou parte de uma organização”* Fontes de Dados Prof. Dr. Lawrence Chung Koo 3. Data Mart Definição: • É um segmento/parte do Data Warehouse; • Separado por assunto/departamento; • Protótipo rápido; • Restringe o acesso aos dados; • Possui três tipos: dependente, independente e o híbrido. Data Mart - Características Características de um Data Mart Um data mart tem escopo restrito tamanho, usabilidade, ciclo de vida Um data mart suporta dados primitivos, sumarizados ou outras derivações, direcionados para resolver um problema de negócio Um data mart geralmente suporta análise de dados multi-dimensionais O desenho de um data mart tende a ser dependente da ferramenta Prof. Dr. Lawrence Chung Koo Tema 3: Data Marts e Metadados Prof. Dr. Lawrence Chung Koo 3. Data Mart Tipos de Data Mart: • Dependente: Sua fonte de dados é o próprio data warehouse . Fonte Imagem: adaptado de LANE et al., 1999 3. Data Mart Tipos de Data Mart: • Independente: É criado sem um data warehouse central, busca as suas informações diretamente dos bancos operacionais e dados externos Fonte Imagem: adaptado de LANE et al., 1999 3. Data Mart Tipos de Data Mart: • Híbrido: Não há exigência quanto ao tipo de sua fonte de dados. Pode ser gerado a partir de diversas fontes como data warehouses, data marts, bancos de dados operacionais e dados externos. Fonte Imagem: adaptado de LANE et al., 1999 Sumário 1. Introdução 2. Data Warehouse 3. Data Mart 4. Metadados 5. Modelo multidimensional Pontuando 4. Metadados Definição: • Os metadados são informações sobre os dados; • A ideia principal, é abstrair a informação de forma que ela possa ser compreendida por qualquer sistema; • Possuem 4 tipos: sintáticos, estruturais, semânticos e negócios/técnicos. 4. Metadados Definição: • Os Metadados podem estar dentro encapsulados dentro do mesmo arquivo de dados ou podem estar separados em outros arquivos. Por exemplo, no início de cada arquivo de dados temos a descrição em forma de tags. <nome> Conteúdo com a característica da tag </nome> • São baseadas nos padrões XML (Extended Markup Language – Linguagem de Marcação Extendida). 4. Metadados Definição: • Dicionário de dados • Catálogo de dados • Diretório de dados • Normalmente administrado por um DA (Data Administrator), gestor de informação da empresa Tema 4: Modelo Multidimensional Prof. Dr. Lawrence Chung Koo Sumário 1. Introdução 2. Data Warehouse 3. Data Mart 4. Metadados 5. Modelo multidimensional Pontuando 5. Modelo Multidimensional Definição: • É uma forma de estruturação dos dados é baseada em tabelas dimensão e fato, diferentemente da entidade-relacionamento que nós conhecemos. 5. Modelo Multidimensional Definição: • Tabelas dimensão: são as unidades de consultas representadas por tabelas que devem possuir um campo de identificação (chave) e campos interessantes para consulta/junções que podem ser estar organizados de forma hierárquica. 5. Modelo Multidimensional Definição: • Tabelas fato: são tabelas que relacionam/ agrupam dimensões através de medidas. Ela contém chaves das dimensões e as medidas da relação entre seus membros. 5. Modelo Multidimensional Modelo estrela: 5. Modelo Multidimensional Modelo floco de neve: 5. Modelo Multidimensional Consultas • Representação do cubo vendas (fato) para análise da data, produto e cliente (dimensões). 5. Modelo Multidimensional (OLAP) 230 49 31 9258 6819132214 166 10 3510718 63 202815 48122511 Curitiba Recife São Paulo Rio de Janeiro VW Porto Alegre Total de acidentes GMFiat Honda Total de acidentes com veículos marca Honda Veículos marca GM acidentados em Recife Total de acidentes em Porto Alegre Cidades Veículos Fonte: Kugler, 2013. Acidentes em 26/set 58 14 18 15 11 58 14 18 15 11 58 14 18 15 11 58 14 18 15 11 14 18 15 11 58 14 18 15 11 58 14 18 15 11 58 14 18 15 11 58 14 18 15 11 14 18 15 11 14 18 15 11 58 14 18 15 11 14 18 15 11 58 14 18 11 14 18 15 11 Curitiba Recife São Paulo Rio de Janeiro VW Porto Alegre GMFiat Honda 26/set 27/set 28/set Total de veículos Fiat acidentados em Recife nos 3 dias Cidades Veículos Data Total de veículos FIAT acidentados em 27/set Total de acidentes nos 3 dias Total de veículos Honda acidentados nos 3 dias Total de veículos GM acidentados em Porto Alegre nos 3 dias Total de acidentes em Porto Alegre em 28/set 5. Modelo Multidimensional (OLAP) Fonte: Kugler, 2013. Modelo ER vs. Modelo Dimensional ER MD Fonte: Kugler, 1997. Modelo Relacional Voltados para processamento transacional (OLTP – online transaction processing). Executam operações específicas, pontuais, predefinidas. Gerenciam acessos múltiplos ao mesmo banco de dados. Muitas pessoas realizando concorrentemente as mesmas operações. Tempo de resposta precisa ser imediato. Transações rápidas e curtas operando sobre poucos dados. Fonte: Kugler, 2013. Atualização em tempo real. As bases de dados refletem imediatamente as operações realizadas. Controle rígido de concorrência. Mecanismos de locking, commit e rollback para evitar corrupção dos dados. Extração e Reporting complicados. Muitas solicitações encaminhadas à TI, gerando backlog. Históricos com horizonte breve. Em geral, limitados a poucos meses. Modelo Relacional Fonte: Kugler, 2013. Modelo Dimensional Orientado para análise (OLAP – online analytical processing). • Consultas para análises táticas e planejamento estratégico. Menos usuários. • Relativamente poucas pessoas realizando consultas e análises ao mesmo tempo. • Tempo de resposta > minutos ou horas. • Consultas sobre muitos fatos e grande volume de dados. Tema 1: Introdução Aula 3: OLAP e Data Mining Sumário 1. Introdução 2. OLAP 3. Data mining Pontuando 1. Introdução Fase de Acesso e Análise • Acesso às informações nos data warehouses são feitas a partir de operações OLAP; • A ferramenta de data mining é um sistema complexo utilizado para a análise dos dados, através dela possível extrair conhecimento dos dados. 1. Introdução Fase de Acesso e Análise Alguns elementos da disciplina de BI, Datawarehousing e Big Data BI - Business Intelligence Suporte a processo da tomada de decisão por meio da análise de informações Datawarehousing É o processo de extrair valor do seu ativo informacional através de arquivos especiais chamados Data Warehouse Data Mining Tecnologia de reconhecimento de padrão nos dados e predição do comportamento futuro OLAP Análise de n-variáveis simultaneamente para descobrir a aderência ou não nos conjuntos de dados perante uma questão Big Data BI com as seguintes características típicas (3V’s): Volume, Velocidade e Variedade Prof. Dr. Lawrence Chung Koo Usos típicos em BI Consultas e Relatórios On-line Data Analysis Data Mining Prof. Dr. Lawrence Chung Koo Fluxo do Processo de Consultas e Relatórios Definição das consultas Questões de negócio ou hipóteses são traduzidas em consultas computacionais Acesso aos dados e recuperação a consulta é submetida ao componente de acesso ao DW que retorna o conjunto de respostas da consulta Cálculos e manipulação cálculos e manipulações de dados podem ser realizados pelo usuário final; resultados são analisados Apresentação do relatório o resultado das consultas ou das operações de análise são apresentados na forma de relatórios e gráficos e tabelas Entrega do relatório o relatório é entregue ao usuário final Prof. Dr. Lawrence Chung Koo On-Line Data Analysis Verificação de Existência Comparação de itens Análise de tendências Ranking e cluster analysis Análises Estatísticas Análises iterativas Prof. Dr. Lawrence Chung Koo O que é OLAP? Visões lógicas multi-dimensionais dos dados Independente de como o dados está armazenadoAnálise de dados multi-dimensionais slice & dice, drill-down, roll-up, pivoting,... Engine poderosas de transformações de dados estatísticas ao longo de várias dimensões Previsões, análise de tendências, análises estatística Apresentação poderosas da Informação 2D/3D, gráficos, tabelas,... Geralmente envolve armazenamento multi-dimensional (MDDB) Prof. Dr. Lawrence Chung Koo Data Mining Análise de descoberta Os propósitos do data mining vão desde descobrir “relações desconhecida” até revelar novos fatos de negócios, em vastas quantidades de dados detalhados Direcionado para o analista Direcionado para os dados Assistido pelo analista Relatórios e Consultas On-line data analysis Análise Estatística Knoledge discovery Data Mining Prof. Dr. Lawrence Chung Koo Tema 2: OLAP Sumário 1. Introdução 2. OLAP 3. Data mining Pontuando 2. OLAP Definição • OLAP (On-Line Analitycal Processing – Processamento Analítico em Tempo Real); • Operações voltadas para consultas e não inserção, atualização, remoção e leitura; • Possuem 4 tipos: ROLAP, MOLAP, HOLAP e DOLAP. 2. OLAP Tipos de OLAP: • DOLAP (Desktop OLAP): fornecem ferramentas mais simples que executam as análises multidimensionais locais sobre os dados baixados dos bancos de dados no cliente; • ROLAP (Relational - Relacional OLAP): está sobre um banco de dados relacional. Realiza consultas complexas, porém pode criar visões multidimensionais. 2. OLAP Tipos de OLAP: • MOLAP (Multidimensional OLAP): está sobre um banco de dados multidimensional. Os dados já estão organizados com valores resumidos • HOLAP (Hibrid – Híbrido OLAP): guarda as informações de agregação em MOLAP e as informações detalhadas em ROLAP, aproveitando assim as vantagens dos dois tipos; 2. OLAP Operações • Slice (fatiar): faz a restrição por um valor da dimensão. Produtos Clientes Tempo Clientes Tempo 2. OLAP Operações • Dice (cubo): mostra um subcubo. Produtos Clientes Tempo Clientes Produtos Tempo 2. OLAP Operações • Roll-up ou Drill-up (enrolar para cima): quando temos níveis hierárquicos de dados, ele sobe um nível. Produtos Clientes Tempo Tempo Produtos Homens Mulheres 2. OLAP Operações • Drill-down (desenrolar): é o contrário do Roll-up, ele desce um nível detalhando mais a informação. Produtos Maria João José Ana Tempo Tempo Produtos Homens Mulheres 2. OLAP Operações • Pivot/Rotate (eixo/rotacionar): muda o eixo da análise. Produtos Cliente Tempo Tempo Cliente Produtos 2. OLAP Operações • Selection (seleção): filtra dos dados de acordo com os parâmetros passados. Produtos Cliente Tempo Cliente: Maria Produto: Arroz Tempo: 01/11 Tema 3: Data Mining Sumário 1. Introdução 2. OLAP 3. Data mining Pontuando 3. Data Mining Definição • Mineração de dados é a busca de evidências que apontem tendências e padrões de comportamento. • Utiliza técnicas matemáticas e estatísticas para modelar o problema e eventos de interesse de maneira mais correta (ou seja, mais científica). • A escolha da técnica depende da análise que se pretende realizar. • O data mining é necessário para aprofundar a investigação sobre as causas dos eventos e determinar sua provável evolução. • Baseando-se apenas no OLAP (que é extremamente útil, mas não suficiente) podemos chegar a conclusões incompletas ou incorretas. • Vejamos o exemplo seguinte, que sumariza as vendas de três produtos em três lojas diferentes. 3. Data Mining Data Mining - Classificação: Designar os objetos em classes - Estimativa: Saída discreta de resultado - sim,não, quantidade de filhos por família... - Predição: Estimativa com premissas - Regras de Associação/Affinity Group: Carrinho de compra - Clustering: Segmentação em grupos com similaridade - Descrição e Visualização: Suporte para entendimento de uma grande quantidade de dados. Prof. Dr. Lawrence Chung Koo 3. Data mining Tarefas • Classificação: busca um modelo que de acordo com uma lista de classes determina a qual classe pertence os novos registros. Fonte Imagem: http://Office.com Classes 3. Data mining Tarefas • Regressão: busca um modelo que classifique os registros em um número real. Maria Data Saldo Cartão 01/09/12 100,00 -200,00 01/10/12 500,00 -150,00 01/11/12 200,00 -100,00 Acum. 800,00 -450,00 José Data Saldo Cartão 01/09/12 -100,00 50,00 01/10/12 10,00 150,00 01/11/12 50,00 -100,00 Acum. -40,00 100,00 C : 800 - (-450) = 1250 C : -40 - (100) = -140 3. Data mining Tarefas • Clusterização: busca um modelo que separa os registros em diversos grupos que são mais semelhantes entre si. Fonte Imagem: http://Office.com 3. Data mining Tarefas • Sumarização: busca um modelo que identifique as características em comum dentre os registros. PadrõesRegistros 3. Data mining Tarefas • Detecção de desvios: busca um modelo que identifique registros que estão fora do padrão. Padrão Registros 3. Data mining Tarefas • Análise de evolução: busca um modelo que consiga identificar comportamentos regulares e tendências dos objetos de estudo em função do tempo. Sequência de atividades Tendência Tema 4: Data Mining / Pontuando 3. Data mining Métodos • Algoritmo Apriori: desenvolvido especificamente para ser utilizado na mineração de dados para resolver tarefas de associação. Ele encontra a frequência com que determinado conjunto aparece nos dados. Frequências 4/4 3/4 3/4 1/4 1/4 Registros 3. Data mining Métodos • Redes neurais: é uma solução que através de uma modelagem estatística consegue simular o comportamento do aprendizado realizado nos neurônios; • Algoritmos genéticos: foi desenvolvido para resolver problemas de otimização, utilizando os conceitos da genética; Fonte Imagem: http://Office.com 3. Data mining Métodos • Lógica nebulosa (fuzzy): é uma solução que permite classificar itens com informações imprecisas ou subjetivas; • Métodos estatísticos: são diversas soluções matemáticas que são utilizadas para analisar os dados; Fonte Imagem: http://Office.com 3. Data mining Primitivas • Dados relevantes para a tarefa: especificam quais são as tabelas e campos que serão utilizados; • Tipo de tarefa: determina a tarefa a ser realizada; • Medidas e limites: são definidas para avaliar as descobertas encontradas pelos reconhecedores de padrão 3. Data mining Primitivas • Conhecimento prévio: é utilizar conhecimentos prévios sobre os dados para ajudar a realizar as consultas. Exemplo: a tabela de endereço, sabemos que um número é subordinado a uma rua que está associada a uma cidade, pertencente a um estado. • Tipo de representação: definem quais os tipos de representação dos dados, pode ser um dashboard, um relatório, regras, cubos etc. Sumário 1. Introdução 2. OLAP 3. Data mining Pontuando Pontuando • O OLAP é uma ferramenta utilizada para dar suporte às consultas aos data warehouses e data marts. Os comandos principais trabalham com as diferentes visualizações e análise dos dados que estão dispostos em cubos (hipercubos). • O OLAP pode ser trabalhado com bancos de dados relacionais ou multidimensionais. Pontuando • A mineração de dados possui algumas tarefas bem definidas que utilizam técnicas computacionais, matemáticas e algoritmos especialmente definidos para mineração de dados para encontrar um modelo de solução para o problema levantado. • As primitivas da mineração de dados mostram os passos para estabelecer as consultas e conseguir alcançar as análises desejadas. Tema 1: Introdução Prof. Dr. Lawrence Chung Koo Aula 4: Desempenho e Estratégias de Negócios Sumário 1. Introdução – Aplicando TI na estratégia corporativa 2. BPM 3. BAM 4. Considerações Finais Pontuando Prof. Dr. Lawrence Chung Koo Exemplo da Aplicação de BI na Estratégia de Negócios Prof. Dr. Lawrence Chung Koo Exemplos de BI na Estratégia de Negócios Prof. Dr. LawrenceChung Koo Exemplos de BI na Estratégia de Negócios Prof. Dr. Lawrence Chung Koo Prof. Dr. Lawrence Chung Koo Prof. Dr. Lawrence Chung Koo Prof. Dr. Lawrence Chung Koo Exemplos de Análise Estatística na Estratégia de Negócios Tema 2: BPM Sumário 1. Introdução 2. BPM 3. BAM 4. Considerações Finais Pontuando 1. Introdução Fase de Desempenho e Estratégias 1. Introdução Fase de Desempenho e Estratégias • A BPM (Business Performance Management – Gerencia de Performance de Negócios) é uma ferramenta que envolve dois passos um de análise e outro operacional. O primeiro fornece a estrutura para a criação dos objetivos estratégicos através da definição de objetivos específicos e indicadores chaves que são importantes para a empresa. Segundo fornece o suporte para o gerenciamento de desempenho dos objetivos. 1. Introdução Fase de Desempenho e Estratégias • A BAM (Bussiness Activity Monitoring - Monitoramento de Atividades de Negócios) é um sistema de monitoramento completo que acompanha os processos desde a sua criação. Ela possui a função que geram alertas de acordo com determinadas condições. Assim elas interrompem o processo e providenciam todas as formas de visualização e análise necessárias para tomada de decisão do responsável pelo processo. 2. BPM Definição • BPM é uma série de aplicações que dão suporte às estratégias de gestão do negócio e que visam melhorar os processos através de mudanças que tornem a empresa competitiva. • Segundo Turban (2009) ajuda as empresas as suas estratégias e objetivos em planos e monitorar o desempenho e executar as ações de contingência quando necessário. 2. BPM Uma coleção de eventos, atividades e decisões relacionados , que envolve um número de atores e recursos, e que juntos, resulta em uma saída (ou entregável) que gera valor para uma organização ou seus clientes Examplos: Ordem de Pagamento Ordem de Compra Pedido de Aprovação Pedido de Indenização Representação para Resolução de Conflitos O que é um Business Process Regra do dedão “Aquilo que não deixa ao menos três pessoas com ódio, não é um processo.” Hammer and Stanton (1995) “A primeira regra de qualquer tecnologia usada em um negócio é que a automação aplicada a uma operaçao eficiente aumentará a sua eficiência. A segunda é que a automação aplicada a uma operação ineficiente aumentará a sua ineficiência.” Bill Gates 2. BPM As suas principais contribuições são: • Melhora a comunicação e colaboração interna da empresa. Todas as pessoas e todos os setores estão cientes das atividades que estão ocorrendo; • Melhora o controle do planejamento, do monitoramento e da execução dos processos; • Possibilita a rápida aplicação de mudanças do negócio. 2. BPM Etapas de um processo • A função da BPM é oferecer aplicações que permitam gerenciar os processos desde a sua criação até a execução de forma rápida e automatizada. • Assim o acompanhamento do desempenho é contínuo e acessado prontamente para quando surgir alguma falha, se possa rapidamente contornar o problema. 2. BPM Etapas de um processo 3. Monitorar Relatórios Dashboards Alarmes 4. Agir Planos de contingência 2. Planejar Projetos e iniciativas 1. Criar estratégia Planos e mapas estratégicos Dados compartilhados Tema 3: BAM 2. BPM Etapas de um processo 1. Criar estratégia: é onde a empresa quer chegar. • Visão da empresa e do mercado; • Identificação dos pontos de melhoria; • Identificação dos pontos a serem incluídos; • Estabelecer uma visão da vantagem competitiva; • Definir planos e mapas estratégicos. Fonte Imagem: http://Office.com 2. BPM Etapas de um processo 2. Planejar: é onde se estabelece as iniciativas necessárias e alocar recursos para o cumprimento dos objetivos e das metas. • Planejamento organizacional; • Planejamento financeiro / recursos; • Equilíbrio e coesão; • Painéis de indicadores. Fonte Imagem: http://Office.com 2. BPM Etapas de um processo 3. Monitorar: é a verificação através de medidas e análises se a meta está sendo cumprida . • Alarmes; • Relatórios; • Dashboards; • Ferramentas de análise (data mining). Fonte Imagem: http://Office.com 2. BPM Etapas de um processo 4. Agir: são as ações que devem ser tomadas se o monitoramento apontar algum problema durante a execução dos planos. • Gerenciamento de riscos; • Previsões de riscos e oportunidades; • Medidas de ação; Fonte Imagem: http://Office.com 2. BPM Ferramentas para cada uma das etapas 1. Criar 2. Planejar 3. Monitorar 4. Agir Construtores de métricas (KPIs) Planos e orçamentos Relatórios Alarmes Mapeadores de estratégias Capacidade e RH Dashboards Monitores Editores de objetivos e metas Modeladores de processos Data mining Previsões Scorecards Como adotar BPM? Melhoria Contínua de Processos (CPI) Não coloca em questão a estrutura de Processo atual Procura identifica problemas e resolve-os incrementalmente, um passo de cada vez e uma solução de cada vez Reengenharia dos Processos de Negócio (BPR) Questiona as premissas e Pricípios fundamentais da estrutura de Processos existentes Endereça o atingimento de soluções de rupture, por exemplo, removendo tarefas custosas que não adicionam valores a organização Business Process Modeling Notation (BPMN) • Baseado no padrão da OMG (é suportado por diversar ferramentas): – Bizagi Process Modeller (free) – Signavio (http://www.signavio.com/) - subscription – Oracle BPA – “kind of free” – IBM Websphere Business Modeler – Logizian – não é tão conhecida.. – Visio – Sua empresa talvez já tenha essa ferramenta da Microsoft.. – Lápis e papel – sem desculpa para começar…. http://www.signavio.com/ Tema 4: Considerações Gerais Sumário 1. Introdução 2. BPM 3. BAM 4. Considerações Finais Pontuando 3. BAM Definição • Sistema em tempo real que monitora as medidas de desempenho dos negócios, os riscos e as oportunidades. A partir deles é gerado um relatório com o diagnóstico com as causas para o que o responsável tome a ação necessária e, portanto, aperfeiçoando o sistema ciclicamente para aumentar a sua eficiência. 3. BAM Ciclo da BAM 3. BAM Ciclo da BAM • Modelagem: • Indicadores de performance • Medidas a serem monitoradas • Contexto de acionamento de alarmes • Itens: Monitor, contexto e medidas. Fonte Imagem: http://Office.com 3. BAM Ciclo da BAM • Configuração: • Notificação enviada para o responsável • Interação do usuário com o sistema • Consultas e relatórios em tempo real • Comunicação rápida e clara entre os colaboradores • Itens: cronômetros, contadores, acionadores e relatórios Fonte Imagem: http://Office.com 3. BAM Ciclo da BAM • Integração: • Resolução do problema ativado pelo alarme • Capacidade de investigação • Familiarização com o problema • Informações relevantes • Acesso de forma mais eficiente • Conhecimento Fonte Imagem: http://Office.com 3. BAM Ciclo da BAM • Implementação: • Definição quais as atuais configurações devem ser alteradas ou extraídas • Criação de novas definições • Implementação do conhecimento adquirido Fonte Imagem: http://Office.com 4. Considerações Finais 4. Considerações Finais • O BI é uma solução com diversos aplicativos; • O seu diferencial está em ser voltado a negócios; • As ferramentas BPM e BAM ajudam no gerenciamento dos processos da empresa e na garantia de execução dos planos estratégicos; • Logo em breve todas essas tecnologias deverão trabalhar em conjunto com os sistemas já existentes de ERP e CRM entre outros. Sumário 1. Introdução 2. BPM 3. BAM 4. Considerações Finais Pontuando Pontuando • BPM é uma ferramenta robusta para o gerenciamento do planejamento estratégico das empresas. Ele reúne em um só sistema diversas atividades que são realizadas nas empresas, facilitando assim a comunicação e possibilitando as tomadas de decisões rápidas e assertivas; Pontuando• BAM é um sistema complexo de monitoramento que acompanha o sistema desde a primeira fase da aquisição de dados até a BPM. Ela é responsável por identificar os riscos e as oportunidades e providenciar o ambiente necessário para a tomada rápida de decisão; Pontuando • A BAM possui um processo cíclico que faz com que o seu sistema “aprenda” com os erros, pois conforme os alarmes são ativados e novas soluções são fornecidas, elas são incorporadas ao sistema. Mantendo assim a evolução e eficiência dos processos. 1.pdf (p.1-46) 2.pdf (p.47-91) 3.pdf (p.92-133) 4.pdf (p.134-176)