Het leven van de databit: hoe data het onderwijsbeleid informeren

Hier bij Washington STEM vertrouwen we op gegevens die openbaar beschikbaar zijn. Maar hoe weten we dat ze betrouwbaar zijn? In deze blog bekijken we hoe we de gegevens die we in onze rapporten en dashboards gebruiken, verzamelen en valideren.

 

Gegevens zijn essentieel. We gebruiken het om doelen te stellen, de voortgang te volgen en systemische ongelijkheden te identificeren. Je zou denken dat het vooral in spreadsheets voorkomt, maar in ons dagelijks leven verwerken we voortdurend gegevens: Wat ga jij morgen dragen? Controleer beter de weersvoorspelling. Hoe laat ga je morgen naar je werk? Afhankelijk van de verkeersberichten.

A goed onderwijs helpt ons onze instincten aan te scherpen over de vraag of een gegevensbron betrouwbaar is, zoals een academisch tijdschrift dat aan collegiale toetsing is onderworpen, of een krant die journalistieke codes en ethiek volgt. De afgelopen jaren is een wantrouwen jegens de overheid en de wetenschap is toegenomen – vaak als gevolg van opzettelijke verkeerde informatie of een gebrek aan begrip ervan hoe wetenschappelijke bevindingen gevalideerd worden.

De afgelopen jaren is het wantrouwen in de overheid en de wetenschap toegenomen – vaak als gevolg van opzettelijke verkeerde informatie of een gebrek aan begrip van de manier waarop wetenschappelijk onderzoek wordt uitgevoerd en de bevindingen worden gevalideerd via het peer review-proces.

Hier bij Washington STEM vertrouwen we op gegevens die openbaar beschikbaar zijn. Maar hoe weten we dat ze betrouwbaar zijn? In deze blog bekijken we hoe we de gegevens die we in onze rapporten en dashboards gebruiken, verzamelen en valideren.

Laten we beginnen met “Consuela”, een hypothetische werkgever in Spokane…

Het begint met een telefoontje

De telefoon gaat en Consuela ziet het netnummer (202) van Washington, DC

“Het moet de BLS-enquête zijn”, denkt ze, verwijzend naar het Bureau of Labor Statistics.

Consuela is eigenaar van een bouwbedrijf in Spokane. Elke maand zorgen zij, en tienduizenden werkgevers zoals zij, voor een bijdrage gegevens over werkgelegenheid, productiviteit en technologiegebruik en andere onderwerpen via geautomatiseerde telefonische enquêtes (Computer Assisted Telephone Interviewing of CATI). In de wereld van gegevensverzameling staat Consuela bekend als gegevensbeheerder omdat ze gegevens verzamelt en indient en samenwerkt met analisten van de verzoekende instantie om de nauwkeurigheid te bevestigen.

Consuela opent haar spreadsheet waarin ze nieuwe medewerkers bijhoudt. Ze reikt naar de rinkelende telefoon. A beetje* aan data staat op het punt geboren te worden.

*een portmanteau (vermenging van woorden) afkorting voor “binair cijfer”

Hoe gegevens worden verkregen

Miljoenen databits van werkgevers en andere respondenten op enquêtes worden ingevoerd in databases die worden beheerd door federale instanties zoals de US Census Bureau en Amerikaanse Bureau of Labor Statistics, evenals overheidsinstanties zoals onder meer het Department of Employment Security en het Department of Commerce. Elk van deze bureaus beschikt over teams van data-analisten die gegevens verzamelen, fouten opschonen (zoals lege cellen of onjuist opgemaakte datums), deze opsplitsen, dat wil zeggen, deze opsplitsen in samenstellende delen, en deze anonimiseren. Bij deze laatste stap worden alle identificerende gegevens, zoals namen of adressen, verwijderd, zodat de gegevensprivacy van een individu wordt gewaarborgd.

Washington STEM maakt gebruik van open source (dat wil zeggen publiekelijk beschikbare) datasets een verscheidenheid aan staats- en federale bronnen in onze datadashboards en tools. Onze datatools bieden het nieuwste onderzoek op het gebied van vroege zorg en onderwijs, basisonderwijs en loopbaantrajecten voor het grote publiek, inclusief wetgevers, onderwijzers, werkgevers en gemeenschapsorganisaties, zodat zij kunnen begrijpen waar ze staan, toekomstige behoeften kunnen voorspellen en ervoor te zorgen dat de pijplijn van onderwijs naar personeel sterk is.

Onze datatools bieden het nieuwste onderzoek op het gebied van vroege zorg en onderwijs, basisonderwijs en loopbaantrajecten voor het grote publiek, inclusief wetgevers, onderwijzers, werkgevers en gemeenschapsorganisaties, zodat zij kunnen begrijpen waar ze staan, toekomstige behoeften kunnen voorspellen en ervoor te zorgen dat de pijplijn van onderwijs naar personeel sterk is.

Onderwijsgegevens in Washington

Maar als het gaat om het rapporteren van onderwijsresultaten – de ruggengraat van onze STEM via het Numbers-dashboard—we vertrouwen op gegevens van het Education Research Data Center (ERDC), gehuisvest in het Office of Financial Management. De wetgevende macht heeft in 2007 het ERDC opgericht om de onderwijsgegevens van Washington te verzamelen en te beheren, van de kleuterschool tot de universiteit en de beroepsbevolking, een longitudinale dataset die bekend staat als “P20W”. Veertien overheidsinstanties verzamelen deze gegevens, waaronder het Office of the Superintendent of Public Instruction (OSPI), het Department of Children Youth and Families (DCYF), het Department of Health and Social Services, de State Board Community & Technical Colleges en anderen.

Gegevensbeheerders bij elk van deze instanties zijn, net als Consuela, verantwoordelijk voor het verzamelen van gegevens uit hun programma's, zoals de inschrijvingen en demografische gegevens van studenten, de scores voor wiskunde in de kleuterklas en de slagingspercentages. De beheerder uploadt de gegevens vervolgens naar het ERDC-portaal, waar ze kwaliteitscontroles ondergaan voordat ze worden toegevoegd aan een hoofddatabase.

In mei 2007 richtte gouverneur Christine Gregoire de P-20 Council op om de voortgang van studenten en de overgang van de kleuterschool naar de universiteit te volgen. Datzelfde jaar keurde de wetgever een wetsvoorstel goed om het Education Research Data Center (ERDC) op te richten, dat in 2023 een onderzoek naar hun processen en procedures onderging. Washington STEM voerde een parallel onderzoek uit naar de behoeften van data-intermediairs. De meesten zeiden dat ze ondersteuning nodig hadden om effectiever met de verzamelde gegevens om te kunnen gaan.

“We ontvangen data uit veel verschillende databronnen en moeten deze vervolgens aan elkaar koppelen in ons datawarehouse. Als gevolg hiervan zijn we altijd bezig met validatie- en kwaliteitscontroles”, zegt Bonnie Nelson, Senior Data Governance Specialist bij ERDC.

Nelson zei dat wat ERDC uniek maakt in Washington, is dat het een ‘sectoroverschrijdend longitudinaal datawarehouse’ huisvest, wat betekent dat het meerdere records van één individuele student aan elkaar koppelt. “Elke student genereert een record wanneer hij naar school gaat, naar de universiteit gaat en later wanneer hij een baan krijgt. ERDC zet het allemaal in één record.”

Van daaruit worden de gegevens ingevoerd in de publicaties van het ERDC, waaronder rapporten over voor- en vroegschoolse educatie, studentenresultaten en andere. Nelson zei dat de belangrijkste gebruikers van het ERDC staatswetgevers, beleidsmakers, overheidsinstanties, universitaire onderzoekers en gemeenschapsorganisaties zijn. ERDC is bij wet verplicht om gegevens beschikbaar te stellen voor het publiek via onlinedashboards or op aanvraag.

“Het is onze taak om de rentmeesters en verbinders te zijn. Het is niet om mensen buiten de data te houden, maar om ze te vertellen: ‘We hebben iets dat je misschien interessant vindt’ en hen te helpen toegang te krijgen tot de data om de resultaten en ervaringen van studenten te verbeteren.”

Het afgelopen jaar, Washington STEM en netwerkpartners heeft contact opgenomen met 739 datagebruikers in de hele staat, waaronder praktijkmensen, onderwijzers, onderzoekers, beleidsmakers en gemeenschapsleiders en belangenbehartigers, om te vragen of en hoe zij data gebruiken en met welke uitdagingen zij daarbij te maken kregen. Uit de resultaten blijkt dat 90% data gebruikt bij hun besluitvorming en planning, maar minder dan 20 van de 739 datagebruikers zeiden dat ze zich goed geïnformeerd voelden over de P20W-data-infrastructuur van de staat of wisten met welke instantie ze contact moesten opnemen voor hun datavragen. Om de datacapaciteit te verbeteren zal Washington STEM de komende vier jaar professionele ontwikkeling en technische assistentie bieden om het vermogen van deze partners om met de data die zij gebruiken te verbeteren.

Middelbare scholieren verdringen zich tijdens de lespauze in de gangen
Het High School to Postsecundary-project hielp scholen toegang te krijgen tot gegevens over het volgen van cursussen en deze te analyseren. De resultaten lieten gender- en etnische verschillen zien in het aantal inschrijvingen voor cursussen: Latino-mannen schreven zich minder vaak in voor dubbele studiepunten en gingen minder vaak door naar postsecundair onderwijs. Fotocredit: Jenny Jimenez

De verhalen die data kunnen vertellen

Bij Washington STEM verzamelen we niet alleen gegevens en creëren we dashboards voor de lol. (Hoewel het visualiseren van gegevens leuk is,vraag het maar aan onze datawetenschapper.) Zoals in het begin gezegd, zijn gegevens belangrijk bij het stellen van doelen, het meten van de voortgang en het identificeren van systemische problemen.

Vijf jaar geleden bijvoorbeeld, a Coördinator loopbaan- en studievoorbereiding op een Yakima middelbare school had het vermoeden dat de inschrijving van studenten voor duale studieprogramma's op zijn school – vaak gekoppeld aan een grotere kans om door te gaan naar het hoger onderwijs – niet eerlijk was, maar hij beschikte niet over de gegevens om dit te bewijzen.

Daarom nam hij contact op met Washington STEM voor hulp bij het verkrijgen en analyseren van cursusgegevens. De toonden gender- en etnische verschillen: Latino-mannen schreven zich minder vaak in voor een dubbele studie en gingen minder vaak door naar postsecundair onderwijs.

Uit het gegevensdashboard Child Care Need and Supply bleek dat van alle 37 provincies in Washington er slechts twee over voldoende kinderopvang beschikken om aan de behoefte te voldoen.

Toen de schoolbestuurders eenmaal hun gegevens kenden, konden ze grote verbeteringen aanbrengen om meer studenten toegang te geven tot programma's met dubbele studiepunten. In 2022 keurden wetgevers een wetsvoorstel goed dat alle scholen verplichtte dit te doen rapporteer de demografische gegevens van studenten bij inschrijving met dubbele studiepunten. Washington STEM blijft dit programma uitbreiden via de High School to Postsecundary Collaborative, met meer dan 40 scholen in de staat die beginnen gebruik datadashboards om hun eigen gegevens te zien – en wijzigingen aan te brengen op schoolniveau.

Op dezelfde manier, vóór de Wet eerlijke start voor kinderen in 2021 werd aangenomen, waren gegevens over de behoefte aan en het aanbod van kinderopvang niet direct beschikbaar voor het publiek. Min Hwangbo, Washington STEM-directeur van Impact, zei: “De nieuwe wet verplichtte meer gegevenstransparantie. Als gevolg hiervan werkte het Department of Children, Youth, and Families samen met Washington STEM om er vijf te creëren Dashboards voor vroeg leren die een breed beeld van de sector bieden.”

“Over het algemeen is er een gebrek aan consistente en nauwkeurige gegevens over verschillende belangrijke populaties: kinderen met een handicap, kinderen die dakloos zijn en Indiaanse kinderen.”

-Min Hwangbo, directeur STEM Impact in Washington

Hoewel de dashboards voor vroeg leren en de staat van de kinderen gegevens dashboard en regionale rapporten hebben de beschikbaarheid van gegevens vergroot, maar dit is niet voor alle kinderen het geval.

“Er is een gebrek aan consistente en nauwkeurige rapportage van gegevens voor verschillende belangrijke populaties: kinderen met een handicap, kinderen die dakloos zijn en Indiaanse kinderen”, zegt Hwangbo. Hij zei dat dit komt doordat een deel van de gegevensverzameling in de kinderopvangsector vrijwillig was, en dat dit tijdens de pandemie in sommige regio’s van de staat simpelweg niet gebeurde. Tijdens de State of the Children co-ontwerpprocesWashington STEM bekeek de datasets met leden uit elk van deze gemeenschappen en velen van hen zeiden dat de cijfers als een ondermaat voelden.

Roept op tot een gegevensuitwisselingscentrum voor vroegtijdig leren

Hoewel instanties als ERDC, DCYF en OSPI enkele gegevens over kleuters verzamelen, bestaat er momenteel geen centraal uitwisselingscentrum voor uitgebreide gegevens op populatieniveau over voorschools leren. Hwangbo zei: “De huidige data-infrastructuur binnen verschillende programma’s en organisaties maakt het moeilijk voor gezinnen om toegang te krijgen tot de ondersteuning die ze nodig hebben, en moeilijk voor beheerders om gegevens te gebruiken om de ondersteuning voor kinderen en gezinnen te verbeteren.”

Washington STEM beveelt aan om over de hele staat een data-clearinghouse te creëren om de toegang tot data te verbeteren, zodat iedereen – wetgevers, docenten, onderzoekers, ouders – kan krijgen wat ze nodig hebben om ons systeem van vroege zorg en onderwijs te plannen en te verbeteren.

Washington STEM beveelt aan om over de hele staat een data-clearinghouse te creëren om de toegang tot data te verbeteren, zodat iedereen – wetgevers, docenten, onderzoekers, ouders – kan krijgen wat ze nodig hebben om ons systeem van vroege zorg en onderwijs te plannen en te verbeteren.

Dus of u nu een data-nerd bent of voor het eerst kennismaakt met de datawereld: wij nodigen u uit om gebruik te maken van Washington STEM's datatools. En de volgende keer dat u de economische berichten op het ochtendnieuws hoort, denk dan aan Consuela en de andere databeheerders die achter die cijfers staan.

 
 

"Welke Washington STEM-datatool moet ik gebruiken?"

 

 
sleutel
BLS – Amerikaans Bureau voor Arbeidsstatistieken
Census – Amerikaans Censusbureau
CCA – Bewust van kinderopvang
COMMS – Ministerie van Handel van de staat Washington
DCFY – Washington State Department of Children, Youth, and Families
ECEAP – Hulpprogramma voor onderwijs voor jonge kinderen
ERDC – Afdeling Werkgelegenheidszekerheid van de staat Washington
OFM — Bureau voor Financieel Beheer
OSPI - Bureau van hoofdinspecteur van openbaar onderwijs