Censo GIFE 2018

9 Infográfico

Monitoramento e avaliação no ISP

Entre 2016 e 2018 a proporção de organizações que avaliam seus projetos ou programas prioritários aumentou de 53% para 83%, apontando para o ganho de relevância dessa temática no campo. Os principais objetivos da avaliação estão mais relacionados ao próprio projeto ou programa, como aprendizagem para orientar tomadas de decisão e identificação de suas contribuições, e à prestação de contas aos principais tomadores de decisão. Já os principais critérios para decidir sobre a avaliação de um projeto ou programa são seu potencial para alcançar escala e o fato de ser política da organização avaliar seus projetos ou programas. No entanto, as organizações esbarram em dificuldades como os altos custos para desenvolver uma boa avaliação e a dificuldade em definir e mensurar impactos. Como destaca o Censo GIFE 2018, o emprego de estratégias equilibradas e adequadas de monitoramento e avaliação representa uma fonte efetiva e consistente de aprendizado, além de gerar reflexões permanentes acerca do papel dos investidores sociais como agentes de transformação social.

Conheça mais sobre Avaliação no site da Agenda de Avaliação do
GIFE
, que visa fomentar a cultura avaliativa entre os associados do
GIFE, por meio da qualificação e da disseminação das práticas de
monitoramento e avaliação no setor do investimento social privado e
das organizações da sociedade civil.

Sistematização de práticas e avaliação
Segundo o Censo GIFE,
praticamente a totalidade das
organizações realizam ações
de comunicação
2016 57% 2018 53 83 % %
Entre os 369 projetos ou programas
mais representativos para as
organizações:

90 %

entregam relatórios
periódicos de
andamento nas
diferentes fases de
execução

70 %

mantêm matriz
de indicadores

66 %

elabora
diagnóstico inicial/
marco zero/
linha de base

59 %

elaboram quadro
lógico/ marco de
resultados ? Teoria de mudança é a tese que articula a cadeia lógica de uma intervenção, concatenando os resultados de longo prazo, os caminhos para alcança-los, as relações causais existentes, os resultados intermediários, bem como as premissas ou condicionantes que anteparam a viabilidade daquilo que se espera. Fonte: ANDERSON, A. The community builder’s approach to the theory of change: a practical guide to theory development. The Aspen Institute, 2005. In: BRANDÃO, Daniel; RIBEIRO, Antônio. Teoria de mudança. Move, 2017.

37 %

utilizam a teoria da
mudança ? O quadro lógico é uma ferramenta que resume os aspectos da lógica causal, das suposições e da forma de medição de desempenho de um projeto. Fonte: USAID. CDCS to project linkages. 2019.

Os relatórios de andamento dos projetos ou programas são o
principal processo de sistematização utilizado durante a fase
de execução, enquanto diagnóstico inicial/ marco zero/ linha
de base são mais utilizados durante a fase de desenho/
elaboração. Teoria da mudança é o processo menos adotado
pelos 369 projetos ou programas mais representativos dos
investidores sociais respondentes do Censo GIFE.

Projetos ou programas mais representativos por processos de reflexão e sistematização de dados (2018)
Monitoramento de indicadores Relatórios periódicos de andamento do projeto/ programa Teoria da mudança Quadro lógico/ marco de resultados 11% 12% 18% 25% 27% 28% 6% 14% 17% 22% 41% 8% 2% 7% 70% 70% 2% 7% 3% 9% Principais processos de reflexão e sistematização adotados entres os 369 projetos ou programas prioritários
Realizado durante a execução do projeto/ programa Realizado durante o desenho do projeto/ programa Matriz de indicadores Diagnóstico inicial/ marco zero/ linha de base Avaliação interna, com equipe própria do associado Avaliação externa, com consultoria externa Será realizado ao final do projeto/ programa Não sabe se será realizado Não será realizado 29% 37% 4% 10% 20% 26% 6% 10% 37% 22% 11% 14% 4% 9% 62% 43% 21% 25% 2% 9% A avaliação interna, com equipe própria da organização é mais comum de ser realizada do que a avaliação externa, em qualquer fase dos projetos ou programas

Fonte: Censo GIFE, 2018.

Entre projetos ou
programas mais
representativos do
Censo GIFE 2018
Foram ou serão avaliados por:

86 %

Equipe própria da
organização

41 %

Consultoria
externa
Avaliação de projetos ou programas são
mais comuns do que avaliação
institucional das organizações

O baixo índice de organizações que não realizam nenhum tipo
de avaliação e nem têm intenção de fazê-lo em breve sugere
que os investidores sociais reconhecem a importância dessa
prática e aponta para uma oportunidade de universalização
futura dessa agenda no campo da filantropia no Brasil.

Organizações por realização de avaliação institucional e de projetos ou programas (2018)
Fonte: Censo GIFE, 2018. Avalia Avaliação de projetos/ programas Avaliação institucional 62% 18% 4% 2% 80% 34% Não avalia, mas tem intenção de avaliar em breve Não avalia e não tem intenção de avaliar em breve Empresas são as que mais adotam práticas de avaliação institucional (76%), enquanto pouco mais da metade de institutos e fundações independentes adotam essa prática (56%). Institutos e fundações independentes são os que mais costumam avaliar seus projetos ou programas (89%), enquanto institutos e fundações empresariais são os que menos adotam essa prática (78%).
Quanto maior o volume de recursos da
organização maior a tendência de avalição
de seus projetos ou programas
Organizações por avaliação de projetos ou programas e faixa de investimento (2018)
Até R$ 6 milhões Mais de R$ 6 milhões a R$ 20 milhões Mais de R$ 20 milhões a R$ 50 milhões Mais de R$ 50 milhões 75 83 95 86 % % % %

Fonte: Censo GIFE, 2018.

Objetivos, critérios e dificuldades da avaliação
Identificar as contribuições dos
projetos ou programas é o principal
objetivo prioritário da avaliação
Objetivos mais relacionados ao próprio projeto ou programa, como
identificar suas contribuições e os aprendizados para o processo de
tomada de decisão, e à prestação de contas às principais lideranças da
organização têm maior relevância do que a comunicação externa ou com
outros stakeholders específicos. Compartilhar resultados com parceiros
ou demonstrar resultados para o poder público parceiro na execução do
projeto são os objetivos menos comuns, não sendo prioritários para
nenhuma das organizações respondentes.
Organizações por tipo de objetivo de avaliações de projetos ou programas* (2018)
80% 80% 80% 79% 68% 62% 70% 47% 69% 44% 43% 60% 48% 1% 31% 22% 8% 5% 5% 5% 5% 2% 1% 1% 1% 0% 0% 0% Identificar claramente as contribuições do projeto/ programa Aprender sobre o projeto/ programa e orientar tomadas de decisão internas sobre sua gestão, visando gerar transformações mais sustentáveis e significativas Demonstrar resultados para o conselho deliberativo, mantenedores, cofinanciadores etc. A partir da avaliação de um projeto/ programa gerar aprendizagem para a organização respondente como um todo Mobilizar e fortalecer a relação com beneficiários e/ ou comunidades envolvidas Demonstrar resultados para conseguir novas parcerias Dar visibilidade sobre o projeto/programa a outros públicos de relacionamento Subsidiar a interlocução com o poder público para influenciar políticas públicas ( advocacy ) Comunicar e disseminar publicamente os resultados do projeto/ programa Subsidiar processos de captação Atender demandas de relatórios e indicadores (ex.: ISE**, GRI**, Ethos) Compartilhar resultados com parceiros executores não mencionados anteriormente Demonstrar resultados para órgãos da administração pública parceiros na execução do projeto/ programa Outros Entre 2016 e 2018 os objetivos relacionados à interlocução com o poder público apresentaram quedas significativas. Em 2016, esse valor era 59% Em 2016, esse valor era 66%
Muito importante + importante Objetivo prioritário

Nota: * No Censo 2018 foram apresentadas duas novas alternativas, o que pode impactar a comparação com 2016.
**ISE - Índice de Sustentabilidade Empresarial; GRI - Global Reporting Initiative.
Fonte: Censo GIFE 2018, GIFE.

Potencial de escala é o critério mais
utilizado para decidir avaliar
Organizações por critérios para decidir avaliar um projeto ou programa (2016 e 2018)
49% 44% 23% 23% 10% 8% 7% 6% 17% 30% 28% 23% N/D 44% 44% 22% 4% 20% 10% 12% 47% 30% 35% N/D Potencial do projeto/ programa para alcançar escala Política de avaliação de todos os projetos/ programas Fase de execução Demanda do conselho deliberativo ou de mantenedores Disponibilidade de recursos para realizar avaliação Grau de risco/ incertezas Exigências de parceiros Outros Projetos/ programas prioritários não foram/ não serão avaliados Compromisso de prestar contas à sociedade Volume de investimento alocado Grau de inovação do projeto/ programa 2018 2016

Nota: N/D – não disponível, alternativa não estava presente na pesquisa.
Fonte: Censo GIFE 2018, GIFE.

O potencial para escala é o critério mais indicado pelos institutos e
fundações empresariais e familiares, enquanto empresas levam mais em
consideração o compromisso de prestar contas à sociedade e institutos e
fundações independentes mantêm política de avaliação de todos os
projetos ou programas.
Organizações por principais critérios para decidir avaliar um projeto ou programa (2018)
Empresas Inst./Fund. Empresariais Inst./Fund. Familiares Inst./Fund. Independentes 59% 28% 29% 47% 29% 52% 21% 61% 43% 22% 39% 41% Potencial do projeto/programa para alcançar escala É política da organização respondente avaliar todos os projetos/programas Compromisso de prestar contas à sociedade Principalmente institutos e fundação empresariais e familiares Principalmente institutos e fundações independentes Principalmente empresas e institutos e fundações independentes

Fonte: Censo GIFE 2018, GIFE.

Custos, dificuldade para mensurar
resultados e falta de tempo da
equipe são as principais barreiras
para avaliar projetos ou programas
Ao investigar pela primeira vez as barreiras identificadas pelos
investidores sociais na avaliação dos projetos ou programas, o Censo GIFE
2018 mostra que altos custos para uma boa avaliação, dificuldade de
mensurar resultados e falta de tempo da equipe são as principais
dificuldades enfrentadas. Aspectos relativos a uma possível resistência
dos diversos públicos envolvidos na execução da avaliação aparecem em
menor proporção entre as organizações.
Organizações por barreiras identificadas para avaliar projetos ou programas (2018)
Altos custos de desenvolver uma boa avaliação Dificuldade para definir/ mensurar os resultados ou impactos Deficiência de habilidades/ experiência da equipe Falta de tempo da equipe Incerteza sobre a precisão dos dados obtidos nas avaliações Pouco conhecimento sobre mecanismos e ferramentas de avaliação Falta de consenso no campo social sobre como desenvolver avaliações Resistência ou desinteresse de parceiros ou cofinanciadores Resistência ou desinteresse da equipe Outros Não avalia Resistência ou desinteresse da alta direção/ conselho deliberativo da organização respondente oudos mantenedores Não identifica barreiras para o desenvolvimento de avaliações de projetos/programas Preocupação em violar confidencialidade de beneficiários ou outros stakeholders Ausência de tecnologia necessária 50% 46% 38% 25% 22% 21% 21% 20% 15% 11% 8% 5% 4% 4% 3% Necessidade de aporte de recursos financeiros Dificuldade de mensurar, baixa qualidade de dados e metódos Tempo e habilidade / experiência das equipes (RH) Resistência dos atores envolvidos no processo Institutos e fundações independentes são os que menos identificam barreiras para o desenvolvimento de avaliação de projetos ou programas.

Fonte: Censo GIFE 2018, GIFE.

Práticas, políticas e estrutura de avaliação e monitoramento
Práticas e políticas de avaliação
de projetos ou programas focam
principalmente o público interno

Os investidores sociais indicam como práticas e políticas de avaliação
mais frequentes o estabelecimento de critérios para definir a
periodicidade de avaliação de projetos ou programas, a divulgação dos
resultados das avaliações para o público interno e a sistematização de
experiências e boas práticas em avaliação para serem compartilhadas
internamente, o que sugere maior ênfase no público interno. Políticas de
avaliação alinhadas às metas e indicadores dos Objetivos de
Desenvolvimento Sustentável (ODS) são as menos frequentes.

Organizações por tipo de prática e política de avaliação de projetos ou programas (2018)
Fonte: Censo GIFE 2018, GIFE. Tem critérios estabelecidos para definir a periodicidade da avaliação Tem práticas e políticas de divulgação dos resultados das avaliações para público interno Tem práticas e políticas de divulgação dos resultados das avaliações para parceiros Sistematiza experiências e boas práticas em avaliação para serem compartilhadas internamente Tem práticas e políticas de divulgação dos resultados das avaliações de seus projetos/ programas para a sociedade em geral (práticas de transparência) Tem critérios estabelecidos para definir o orçamento destinado à avaliação Tem processo sistemático para seleção de fornecedores a partir de especificações do contexto da avaliação (ex.: edital) Tem práticas ou políticas de avaliação alinhadas às metas e indicadores dos Objetivo de Desenvolvimento Sustentável (ODS) Não avalia Nenhuma das anteriores Sistematiza experiências e boas práticas em avaliação para serem compartilhadas com o campo do investimento social 55% 45% 40% 38% 38% 32% 23% 20% 20% 17% 5% Critérios ou processos estabelecidos Divulgação de resultados Sistematização de experiências e boas práticas
Quanto maior o volume de recursos maior
a diversidade de práticas e políticas de
avaliação entre as organizações

Há maior incidência de práticas e políticas de avaliação de projetos ou
programas em organizações com orçamento superior a R$ 20 milhões,
especialmente quando sua adoção depende mais de recursos
financeiros e humanos.

Organizações por tipo de prática e política de avaliação de projetos ou programas e faixa de investimento (2018)

Embora sejam menos adotadas pelos respondentes,
iniciativas de sistematização de experiências e boas
práticas apresentam variação menor entre as
organizações por faixa de investimento.

Práticas ou políticas alinhadas aos
ODS têm maior destaque nas
organizações com orçamento de
mais de R$ 50 milhões.

49% 37% 34% 60% Tem política para divulgação de resultados para o público interno 46% 37% 37% 23% 20% 17% 60% 40% 25% 22% 36% 15% 19% 12% 49% 55% 35% 50% 40% 30% 15% 65% 50% 57% 64% 50% 50% 43% 21% 43% 50% 50% Tem política para divulgação de resultados para parceiros Tem critérios estabelecidos para definir periodicidade Tem critérios estabelecidos para definir orçamento Sistematiza experiências e boas práticas para uso interno Sistematiza experiências e boas práticas para compartilhar com o campo do investimento social privado Tem práticas ou politicas alinhadas aos ODS Tem critérios estabelecidos para selecionar fornecedores Tem política para divulgação de resultados para a sociedade em geral
Até R$ 6 milhões Mais de R$ 6 milhões a R$ 20 milhões Mais de R$ 50 milhões Mais de R$ 20 milhões a R$ 50 milhões

Fonte: Censo GIFE 2018, GIFE.

63 %

das organizações contrata
consultoria externapara
monitorar e avaliar seus
projetos ou programas
enquanto que

55 %

conta com área ou
equipe interna
Organizações por estrutura para monitorar e avaliar projetos ou programas (2018)
Fonte: Censo GIFE 2018, GIFE. Reflete sistematicamente (ou realiza meta-avaliações) sobre os processos de monitoramento e avaliação para serem aprimorados e aplicados em próximos ciclos Tem recurso previsto no projeto/ programa ou no orçamento geral Contrata consultorias externas especializadas para estruturar processos e executar serviços regularmente Conta com área ou profissional específico para a função Tem equipe, recurso previsto no projeto ou programa ou no orçamento geral, contrata terceiros, investe em formação e reflete sistematicamente sobre monitoramento Tem equipe, recurso previsto no projeto ou programa ou no orçamento geral, contrata terceiros, investe em formação e reflete sistematicamente sobre avaliação Investe apenas em cursos, seminários e materiais para formação da equipe interna Não tem / não faz 11% 63% 55% 7% 8% 1% 71% 76% Ainda são poucos os investidores sociais que combinam diferentes estruturas para monitorar projetos ou programas e ainda mais raros os que combinam essas estruturas para a avaliação de seus projetos ou programas. Institutos e fundações familiares são os que mais combinam essas estruturas. Apenas 1% não dispõe de nenhuma outra estrutura para o desenvolvimento de atividades monitoramento e avaliação.
Organizações contam com mais
estrutura de monitoramento do que
de avaliação de projetos ou programas

De forma geral, as organizações estão mais estruturadas para
desenvolver atividades de monitoramento do que de avaliação de
projetos ou programas. Esses resultados possivelmente se justificam em
função das particularidades e diferenças entre monitoramento e
avaliação em termos de regularidade da atividade, conhecimento
técnico específico, custos etc.

Organizações por estrutura desagrupada para monitorar e avaliar projetos ou programas (2018)
Reflete sistematicamente (ou realiza meta-avaliações) sobre os processos de monitoramento e avaliação para serem aprimorados e aplicados em próximos ciclos Investe em cursos, seminários e materiais para formação da equipe interna Tem recurso alocado regularmente em seu orçamento geral destinado a projetos/ programas específicos conforme prioridades do ano Tem recurso regular previsto diretamente no orçamento do projeto/ programa Conta com área ou profissional específico para a função Contrata consultorias externas especializadas para estruturar processos Contrata consultorias externas especializadas para executar serviços regularmente 70% 59% 53% 52% 52% 37% 25% 68% 54% 45% 44% 38% 44% 38% Avaliação Monitoramento

Fonte: Censo GIFE 2018, GIFE.

Coleta de dados de monitoramento de
projetos ou programas é conduzida pela
equipe interna de investidores sociais

A equipe interna é a principal responsável pela coleta de informações
para monitorar projetos ou programas, com destaque para o controle de
atividades financeiras (prestação de contas), enquanto equipes externas
são contratadas principalmente para coleta da percepção dos envolvidos,
o tipo de informação menos monitorado entre os apresentados.

Organizações por área ou equipe responsável pela coleta de informações de monitoramento (2018)
Controle de atividades financeiras (prestação de contas) Acompanhamento de indicadores (ex.: evasão, desempenho, matérias divulgadas, número de atores engajados etc.) Controle de atividades operacionais (ex.: oficinas, entregas de materiais, visitas, encontros realizados etc.) Percepção ou satisfação de beneficiários ou outros stakeholders Equipe da organização responsável pela execução do projeto/programa Equipe externa contratada para esse fim Não monitora esse tipo de informação Equipe interna da organização respondente 62% 68% 82% 51% 13% 3% 3% 2% 21% 33% 23% 14% 15% 2% 5% 3%

Fonte: Censo GIFE 2018, GIFE.

Avaliação e outras temáticas
76 %
das organizações apontaram a
garantia de monitoramento e
avaliação do projeto ou
programa como uma
característica muito importante
ou importante para que a
aproximação com políticas públicas
seja benéfica

Veja mais no infográfico de Políticas Públicas
publicado pelo GIFE clicando aqui.

31 %
das organização indicaram que
ter processos de monitoramento
e avaliação é um critério
importante para a seleção das
OSC a serem apoiadas.

Veja mais no infográfico sobre grantmaking
publicado pelo GIFE clicando aqui.

38 %
das organizações divulgam relatórios
de avaliação de projetos, programas ou
da própria organização para grupos
específicos, enquanto 23% divulgam
no site ou em outros veículos de acesso
público e 23% não divulgam

Veja mais no infográfico sobre gestão institucional
e governança publicado pelo GIFE clicando aqui.

Diretrizes para avaliação e monitoramento

Sabendo da importância, do potencial e dos limites das avaliações, assegurar sua qualidade é fundamental para que esses processos produzam os efeitos desejados. Assim, em consonância com as tendências internacionais, em 2020 a Rede Brasileira de Monitoramento e Avaliação, com o apoio da Agenda de Avaliação do GIFE, produziu a primeira edição de "Diretrizes para a prática de avaliação no Brasil".

As diretrizes foram elaboradas para compor o processo de reflexão, crítica e construção da avaliação, como um primeiro esforço da RBMA para propor marcos comuns para as avaliações realizadas no Brasil. Elas podem, portanto, ser tomadas como plataforma e possibilidade, mas nunca como imperativo, e certamente ajudam contratantes e avaliadores a encontrar caminhos para idealizar, desenhar, conduzir e utilizar avaliações com qualidade. Para tanto, as Diretrizes estão divididas em 4 dimensões que tratam das características desejáveis às avaliações, conheça abaixo os componentes de cada dimensão.

CONTEXTUALIZAÇÃOE VALORIZAÇÃO APRENDIZAGEME UTILIZAÇÃO DIREITOS E INTEGRIDADE MÉTODO E VIABILIZADA 15. Avaliações contextualizadas16. Descrição do objeto17. Critérios válidos18. Critérios explícitos Contextualização e valoração 1. Níveis de participação adequados aos interessados2. Propósitos acordados mutuamente3. Perguntas relevantes4. Resultados úteis5. Conclusões fidedignas6. Recomendações contextualizadas7. Comunicação cuidadosa Aprendizagem e utilização 8. Respeito aos direitos das pessoas9. Diversidade e equidade10. Identidades culturais11. Reciprocidade nas trocas12. Explicitação de interesses13. Transparência14. Legalidade Direitos e integridade 19. Viabilidade20. Tempo oportuno21. Metodologia consistente22. Técnicas e procedimentos válidos23. Percurso metodológico explícito24. Autonomia e independência25. Gestão responsável26. Meta-avaliação Método e viabilidade

Acesse o conteúdo completo das
diretrizes clicando aqui.