Determining Decision Thresholds and Evaluating Indicators when Conservation Status is Measured as a Continuum

Categorization of the status of populations, species, and ecosystems underpins most conservation activities. Status is often based on how a system's current indicator value (e.g., change in abundance) relates to some threshold of conservation concern. Receiver operating characteristic (ROC) curves can be used to quantify the statistical reliability of indicators of conservation status and evaluate trade-offs between correct (true positive) and incorrect (false positive) classifications across a range of decision thresholds. However, ROC curves assume a discrete, binary relationship between an indicator and the conservation status it is meant to track, which is a simplification of the more realistic continuum of conservation status, and may limit the applicability of ROC curves in conservation science. We describe a modified ROC curve that treats conservation status as a continuum rather than a discrete state. We explored the influence of this continuum and typical sources of variation in abundance that can lead to classification errors (i.e., random variation and measurement error) on the true and false positive rates corresponding to varying decision thresholds and the reliability of change in abundance as an indicator of conservation status, respectively. We applied our modified ROC approach to an indicator of endangerment in Pacific salmon (Oncorhynchus nerka) (i.e., percent decline in geometric mean abundance) and an indicator of marine ecosystem structure and function (i.e., detritivore biomass). Failure to treat conservation status as a continuum when choosing thresholds for indicators resulted in the misidentification of trade-offs between true and false positive rates and the overestimation of an indicator's reliability. We argue for treating conservation status as a continuum when ROC curves are used to evaluate decision thresholds in indicators for the assessment of conservation status. Determinacion de Umbrales de Decisiones y Evaluacion delos Indicadores cuando se Mide el Estado de de Conservacion como un Continuo Resumen La categorizacion de los estados de poblaciones, especies y ecosistemas sirve de apoyo para la mayoria de las actividades de conservacion. El estado comunmente se basa en como el valor indicador actual de un sistema (p. ej.: cambio en la abundancia) se relaciona con algun umbral de preocupacion de conservacion. Las curvas de caracteristica operante del receptor (ROC) pueden usarse para cuantificar la veracidad estadistica de los indicadores del estado de conservacion y para evaluar los pros y contras entre clasificaciones correctas (positivo verdadero) e incorrectas (falso positivo) a lo largo de una gama de umbrales de decision. Sin embargo, las curvas de ROC suponen una relacion binaria discreta entre el indicador y el estado de conservacion que debe rastrear, lo cual es una simplificacion del continuo mas realista del estado de conservacion, y muchos limitan la habilidad de aplicar las curvas de ROC en la ciencia de la conservacion. Describimos una curva de ROC modificada que trata al estado de conservacion como un continuo en lugar de un estado discreto. Exploramos la influencia de este continuo y de fuentes tipicas de variacion en la abundancia que puedan llevar a errores en la clasificacion (p. ej.: variacion al azar y error de medida) de las tasas de positivos falsos y negativos correspondientes a los umbrales variantes de decision y en la veracidad del cambio en la abundancia como indicador del estado de conservacion, respectivamente. Aplicamos nuestra estrategia modificada de ROC a un indicador de peligro de extincion del salmon del Pacifico (Oncorhynchus nerka) (p. ej.: porcentaje de declinacion en el promedio geometrico de abundancia) y a un indicador de la funcion y estructura de un ecosistema marino (p. ej.: biomasa detritivora). Equivocarse al momento de tratar al estado de conservacion como un continuo cuando se escogen umbrales para indicadores resulto en una mala identificacion de los pros y contras entre las tasas de positivos falsos y verdaderos y la sobreestimacion de la veracidad de un indicador. Argumentamos que se debe tratar al estado de conservacion como un continuo cuando las curvas de ROC se usan para evaluar los umbrales de decision en los indicadores para la evaluacion del estado de conservacion.