Week 5: Data That Stops Describing the World

Week 5: Data That Stops Describing the World - CSC/EE 8001

import%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Week%205%20-%20Data%20That%20Stops%20Describing%20the%20World%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20json%0A%0A%20%20%20%20return%20json%2C%20mo%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(json%2C%20mo)%3A%0A%20%20%20%20%23%20Progress%20saving.%20On%20the%20course%20site%2C%20labs%2Fgate%2Fgate.js%20signs%20the%20student%20in%0A%20%20%20%20%23%20and%20tags%20this%20tab%20with%20an%20%22rl%22%20query%20parameter.%20The%20notebook%20runs%20in%20a%20web%0A%20%20%20%20%23%20worker%2C%20so%20it%20talks%20to%20that%20script%20over%20a%20BroadcastChannel%20named%20after%20the%0A%20%20%20%20%23%20tag%2C%20and%20the%20script%20makes%20the%20API%20calls.%20Opened%20any%20other%20way%20(marimo%20edit%2C%0A%20%20%20%20%23%20a%20plain%20export)%20there%20is%20no%20tag%20and%20nothing%20is%20saved.%0A%20%20%20%20import%20sys%20as%20_sys%0A%0A%20%20%20%20class%20LabSync%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20tab)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20js%20import%20BroadcastChannel%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.ffi%20import%20create_proxy%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel%20%3D%20BroadcastChannel.new(%22radiant-lab-%22%20%2B%20tab)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._listener%20%3D%20create_proxy(self._receive)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.onmessage%20%3D%20self._listener%0A%0A%20%20%20%20%20%20%20%20def%20_receive(self%2C%20event)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20json.loads(event.data)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20(TypeError%2C%20ValueError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%0A%20%20%20%20%20%20%20%20%20%20%20%20waiting%20%3D%20self._waiting.pop(message.get(%22id%22)%2C%20None)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20waiting%20is%20not%20None%20and%20not%20waiting.done()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20waiting.set_result(message)%0A%0A%20%20%20%20%20%20%20%20def%20_send(self%2C%20op%2C%20message_id%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20%7B%22id%22%3A%20message_id%2C%20%22op%22%3A%20op%2C%20%22from%22%3A%20%22notebook%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20message.update(fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.postMessage(json.dumps(message))%0A%0A%20%20%20%20%20%20%20%20async%20def%20_request(self%2C%20op%2C%20timeout%3DNone%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20asyncio%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20message_id%20%3D%20uuid.uuid4().hex%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20asyncio.get_event_loop().create_future()%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%5Bmessage_id%5D%20%3D%20reply%0A%20%20%20%20%20%20%20%20%20%20%20%20self._send(op%2C%20message_id%2C%20**fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20await%20(reply%20if%20timeout%20is%20None%20else%20asyncio.wait_for(reply%2C%20timeout))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20asyncio.TimeoutError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%22ok%22%3A%20False%2C%20%22error%22%3A%20%22the%20page%20did%20not%20answer%20in%20time%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._waiting.pop(message_id%2C%20None)%0A%0A%20%20%20%20%20%20%20%20async%20def%20load(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Wait%20for%20sign-in%2C%20then%20return%20what%20this%20student%20saved%20before.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22load%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20dict(reply.get(%22state%22)%20or%20%7B%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20%20%20%20%20def%20record(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Remember%20these%20answers%3B%20the%20page%20saves%20them%20a%20moment%20later.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20changed%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20k%20not%20in%20self.state%20or%20self.state%5Bk%5D%20!%3D%20v%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20changed%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(changed)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._send(%22save%22%2C%20uuid.uuid4().hex%2C%20state%3Dself.state)%0A%0A%20%20%20%20%20%20%20%20def%20record_once(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22For%20marked%20questions%3A%20the%20first%20answer%20is%20the%20one%20that%20counts.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20fresh%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20v%20is%20not%20None%20and%20self.state.get(k)%20is%20None%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20fresh%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.record(**fresh)%0A%0A%20%20%20%20%20%20%20%20async%20def%20submit(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Save%20everything%20now%20and%20mark%20the%20lab%20as%20submitted.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(answers)%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22submit%22%2C%20timeout%3D45%2C%20state%3Dself.state)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20reply.get(%22submittedAt%22)%20or%20%22today%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20def%20pick(options%2C%20value)%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20label%20a%20radio%20should%20show%20for%20a%20saved%20value%2C%20or%20None.%22%22%22%0A%20%20%20%20%20%20%20%20return%20next((label%20for%20label%2C%20v%20in%20options.items()%20if%20v%20%3D%3D%20value)%2C%20None)%0A%0A%20%20%20%20lab_sync%20%3D%20None%0A%20%20%20%20lab_status%20%3D%20%7B%7D%0A%20%20%20%20saved%20%3D%20%7B%7D%0A%20%20%20%20locked%20%3D%20False%0A%20%20%20%20_tab%20%3D%20mo.query_params().get(%22rl%22)%20if%20%22pyodide%22%20in%20_sys.modules%20else%20None%0A%20%20%20%20if%20_tab%3A%0A%20%20%20%20%20%20%20%20lab_sync%20%3D%20LabSync(_tab)%0A%20%20%20%20%20%20%20%20lab_status%20%3D%20await%20lab_sync.load()%0A%20%20%20%20%20%20%20%20saved%20%3D%20dict(lab_sync.state)%0A%20%20%20%20%20%20%20%20%23%20Handed%20in%20means%20read-only%3A%20the%20server%20refuses%20any%20further%20writes%2C%0A%20%20%20%20%20%20%20%20%23%20so%20every%20control%20on%20the%20page%20is%20disabled%20to%20match.%0A%20%20%20%20%20%20%20%20locked%20%3D%20bool(lab_status.get(%22locked%22)%20or%20lab_status.get(%22submitted%22))%0A%20%20%20%20return%20lab_status%2C%20lab_sync%2C%20locked%2C%20pick%2C%20saved%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Which%20marked%20questions%20have%20been%20answered.%20These%20count%20towards%20the%20grade%2C%20so%0A%20%20%20%20%23%20each%20one%20takes%20a%20single%20answer%20and%20then%20stops%20accepting%20input.%0A%20%20%20%20get_given%2C%20set_given%20%3D%20mo.state(%7B%7D)%0A%20%20%20%20return%20get_given%2C%20set_given%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(get_given%2C%20locked%2C%20mo%2C%20pick%2C%20saved%2C%20set_given)%3A%0A%20%20%20%20def%20ask(prompt%2C%20options%2C%20correct%2C%20because%2C%20key)%3A%0A%20%20%20%20%20%20%20%20%22%22%22A%20marked%20question.%20One%20answer%2C%20then%20the%20explanation.%20No%20second%20go.%22%22%22%0A%20%20%20%20%20%20%20%20labels%20%3D%20%7Bvalue%3A%20label%20for%20label%2C%20value%20in%20options.items()%7D%0A%20%20%20%20%20%20%20%20BREAK%20%3D%20chr(10)%20%2B%20chr(10)%0A%20%20%20%20%20%20%20%20given%20%3D%20get_given().get(key%2C%20saved.get(key))%0A%0A%20%20%20%20%20%20%20%20def%20choose(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20not%20None%20and%20get_given().get(key%2C%20saved.get(key))%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_given(lambda%20d%3A%20dict(d%2C%20**%7Bkey%3A%20value%7D))%0A%0A%20%20%20%20%20%20%20%20radio%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3Doptions%2C%20label%3Dprompt%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(options%2C%20given)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%20or%20given%20is%20not%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3Dchoose%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20def%20render(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20answer%20%3D%20given%20if%20given%20is%20not%20None%20else%20value%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20answer%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22This%20one%20is%20marked%2C%20so%20you%20get%20one%20answer.%20Take%20a%20moment.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22neutral%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ok%20%3D%20answer%20%3D%3D%20correct%0A%20%20%20%20%20%20%20%20%20%20%20%20head%20%3D%20(%22**Right.**%20%22%20if%20ok%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20f%22**Not%20quite.%20The%20answer%20is%20_%7Blabels%5Bcorrect%5D%7D_.**%20%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(head%20%2B%20BREAK%20%2B%20because)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20ok%20else%20%22warn%22)%0A%0A%20%20%20%20%20%20%20%20def%20summarise(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20answer%20%3D%20given%20if%20given%20is%20not%20None%20else%20value%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20answer%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22not%20answered%22%2C%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20labels%5Banswer%5D%2C%20answer%20%3D%3D%20correct%0A%0A%20%20%20%20%20%20%20%20return%20radio%2C%20render%2C%20summarise%0A%0A%20%20%20%20return%20(ask%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20LAB_CSS%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20%20%20%20%20.w5-hero%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%206px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fffef8%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-eyebrow%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.08em%3B%20text-transform%3A%20uppercase%3B%20margin%3A%200%200%208px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-hero%20h1%20%7B%20margin%3A%200%200%208px%3B%20font-size%3A%201.75rem%3B%20color%3A%20%23111%3B%20line-height%3A%201.2%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-hero%20p.sub%20%7B%20margin%3A%200%3B%20color%3A%20%233a3a3a%3B%20font-size%3A%201.02rem%3B%20line-height%3A%201.65%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-chips%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%208px%3B%20margin-top%3A%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-chip%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fff3cc%3B%20color%3A%20%2362490a%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%20999px%3B%20padding%3A%204px%2011px%3B%20font-size%3A%20.72rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20letter-spacing%3A%20.04em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-chip-plain%20%7B%20border-color%3A%20%23e0e0e0%3B%20background%3A%20%23f4f4f4%3B%20color%3A%20%234a4a4a%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w5-split%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%201.6fr%201fr%3B%20gap%3A%2024px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20start%3B%20margin%3A%204px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.w5-split%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-split%20%3E%20.body%20p%20%7B%20margin%3A%200%200%2012px%3B%20color%3A%20%232f2f2f%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%201rem%3B%20line-height%3A%201.7%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-split%20%3E%20.body%20p%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w5-aside%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%204px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fcfcfc%3B%20padding%3A%2015px%2017px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-aside%20h4%20%7B%20margin%3A%200%200%2010px%3B%20padding-left%3A%2024px%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20letter-spacing%3A%20.06em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-aside%20ol%20%7B%20margin%3A%200%3B%20padding-left%3A%2024px%3B%20list-style%3A%20decimal%20outside%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-aside%20li%20%7B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.91rem%3B%20line-height%3A%201.5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-bottom%3A%209px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-aside%20li%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-aside%20li%3A%3Amarker%20%7B%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-aside%20.meta%20%7B%20border-top%3A%201px%20solid%20%23ececec%3B%20margin-top%3A%2013px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding-top%3A%2011px%3B%20padding-left%3A%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-aside%20.meta%20div%20%7B%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2010px%3B%20font-size%3A%20.85rem%3B%20margin-bottom%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-aside%20.meta%20div%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-aside%20.meta%20dt%20%7B%20color%3A%20%236f6f6f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-aside%20.meta%20dd%20%7B%20margin%3A%200%3B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20text-align%3A%20right%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w5-question%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fffdf5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2014px%2018px%3B%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-question%20.lbl%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-question%20p%20%7B%20margin%3A%206px%200%200%3B%20color%3A%20%23111%3B%20font-size%3A%201.06rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20font-style%3A%20italic%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w5-note%20%7B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.85rem%3B%20margin%3A%202px%200%200%3B%20line-height%3A%201.5%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w5-cards%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(4%2C%201fr)%3B%20gap%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.w5-cards%20%7B%20grid-template-columns%3A%201fr%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20520px)%20%7B%20.w5-cards%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-card%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23dcdcdc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%2013px%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-card.ok%20%7B%20border-top-color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-card.bad%20%7B%20border-top-color%3A%20%23c62828%3B%20background%3A%20%23fefafa%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-card.gold%20%7B%20border-top-color%3A%20%23f1b82d%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-card%20h4%20%7B%20margin%3A%200%200%202px%3B%20font-size%3A%20.95rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-card%20.where%20%7B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.78rem%3B%20margin%3A%200%200%209px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-family%3A%20ui-monospace%2C%20SFMono-Regular%2C%20Menlo%2C%20monospace%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-card%20p%20%7B%20margin%3A%200%3B%20color%3A%20%233a3a3a%3B%20font-size%3A%20.86rem%3B%20line-height%3A%201.5%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w5-line%20%7B%20position%3A%20relative%3B%20height%3A%2092px%3B%20margin%3A%2020px%200%2042px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-bottom%3A%202px%20solid%20%23dcdcdc%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-line%20.dot%20%7B%20position%3A%20absolute%3B%20bottom%3A%20-7px%3B%20width%3A%2012px%3B%20height%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-left%3A%20-6px%3B%20border-radius%3A%2050%25%3B%20background%3A%20%239a9a9a%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%202px%20solid%20%23fff%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-line%20.dot.out%20%7B%20background%3A%20%23c62828%3B%20width%3A%2016px%3B%20height%3A%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20bottom%3A%20-9px%3B%20margin-left%3A%20-8px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-line%20.band%20%7B%20position%3A%20absolute%3B%20bottom%3A%200%3B%20top%3A%2034px%3B%20background%3A%20%23eef5ee%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-left%3A%202px%20dashed%20%237cb47f%3B%20border-right%3A%202px%20dashed%20%237cb47f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-line%20.tag%20%7B%20position%3A%20absolute%3B%20top%3A%204px%3B%20font-size%3A%20.72rem%3B%20color%3A%20%236a5314%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20letter-spacing%3A%20.04em%3B%20text-transform%3A%20uppercase%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20transform%3A%20translateX(-50%25)%3B%20white-space%3A%20nowrap%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-line%20.val%20%7B%20position%3A%20absolute%3B%20bottom%3A%20-34px%3B%20font-size%3A%20.78rem%3B%20color%3A%20%236f6f6f%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20transform%3A%20translateX(-50%25)%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w5-grid%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(auto-fit%2C%20minmax(150px%2C%201fr))%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2012px%3B%20margin%3A%2014px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-stat%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2010px%3B%20background%3A%20%23fff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2011px%2013px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-stat%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.72rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.05em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-stat%20.v%20%7B%20display%3A%20block%3B%20color%3A%20%23111%3B%20font-size%3A%201.45rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.2%3B%20margin-top%3A%202px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-stat%20.why%20%7B%20display%3A%20block%3B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.78rem%3B%20margin-top%3A%203px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.4%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-stat.green%20.v%20%7B%20color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-stat.red%20.v%20%7B%20color%3A%20%23c62828%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w5-bars%20%7B%20display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%2010px%3B%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-bar%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20210px%201fr%20130px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20center%3B%20gap%3A%2012px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20640px)%20%7B%20.w5-bar%20%7B%20grid-template-columns%3A%20110px%201fr%2090px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-bar%20.t%20%7B%20color%3A%20%234a4a4a%3B%20font-size%3A%20.87rem%3B%20line-height%3A%201.3%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-bar%20.track%20%7B%20display%3A%20block%3B%20background%3A%20%23f4f4f4%3B%20border%3A%201px%20solid%20%23ececec%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%206px%3B%20height%3A%2026px%3B%20overflow%3A%20hidden%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-bar%20.fill%20%7B%20display%3A%20block%3B%20height%3A%20100%25%3B%20background%3A%20%23c9c9c9%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-bar.good%20.fill%20%7B%20background%3A%20%237cb47f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-bar.bad%20.fill%20%7B%20background%3A%20%23d98080%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-bar.gold%20.fill%20%7B%20background%3A%20%23f1b82d%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-bar%20.n%20%7B%20text-align%3A%20right%3B%20font-weight%3A%20800%3B%20font-size%3A%20.9rem%3B%20color%3A%20%23111%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20table.w5-table%20%7B%20border-collapse%3A%20collapse%3B%20margin%3A%2014px%200%3B%20font-size%3A%20.92rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A%20100%25%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w5-table%20th%2C%20table.w5-table%20td%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%209px%2013px%3B%20text-align%3A%20left%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20vertical-align%3A%20top%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w5-table%20th%20%7B%20background%3A%20%23fffdf5%3B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%20.04em%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w5-table%20td.yes%20%7B%20background%3A%20%23edf7ee%3B%20color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w5-table%20td.no%20%7B%20background%3A%20%23fdecec%3B%20color%3A%20%23c62828%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w5-table%20code%20%7B%20background%3A%20%23f4f4f4%3B%20padding%3A%201px%205px%3B%20border-radius%3A%204px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%20.85rem%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w5-report%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%204px%2020px%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2020px%20rgba(17%2C%2017%2C%2017%2C%20.06)%3B%20margin%3A%206px%200%204px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-report%20.row%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20190px%201fr%3B%20gap%3A%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2012px%200%3B%20border-bottom%3A%201px%20solid%20%23f2f2f2%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20baseline%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-report%20.row%3Alast-child%20%7B%20border-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20720px)%20%7B%20.w5-report%20.row%20%7B%20grid-template-columns%3A%201fr%3B%20gap%3A%203px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-report%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-report%20.v%20%7B%20color%3A%20%231c1c1c%3B%20font-size%3A%20.99rem%3B%20line-height%3A%201.55%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-report%20.tick%20%7B%20color%3A%20%232e7d32%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-report%20.cross%20%7B%20color%3A%20%23c62828%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-report%20.quote%20%7B%20border-left%3A%203px%20solid%20%23f1b82d%3B%20padding-left%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23333%3B%20font-style%3A%20italic%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w5-score%20%7B%20display%3A%20inline-block%3B%20background%3A%20%23fff3cc%3B%20border%3A%201px%20solid%20%23f2dfaa%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%208px%3B%20padding%3A%203px%2011px%3B%20font-weight%3A%20800%3B%20color%3A%20%2362490a%3B%20%7D%0A%20%20%20%20%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20LAB_CSS%0A%20%20%20%20return%20(LAB_CSS%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-hero%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w5-eyebrow%22%3ECSC%2FEE%208001%20%26middot%3B%20Week%205%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ch1%3EData%20That%20Stops%20Describing%20the%20World%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22sub%22%3EA%20card%20with%20three%20years%20of%20groceries%20and%20petrol%2C%20nothing%20over%0A%20%20%20%20%20%20%20%20%20%20%26pound%3B200.%20This%20morning%20there%20is%20a%20charge%20for%20%26pound%3B5%2C000.%20That%20one%20row%20could%20be%20a%0A%20%20%20%20%20%20%20%20%20%20typo%2C%20a%20family%20holiday%2C%20a%20new%20job%2C%20or%20a%20terminal%20that%20has%20started%20double-charging%0A%20%20%20%20%20%20%20%20%20%20everyone%20it%20touches.%20You%20delete%20the%20first%20and%20keep%20the%20second.%20The%20other%20two%20are%0A%20%20%20%20%20%20%20%20%20%20telling%20you%20something%20about%20your%20pipeline.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-chips%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w5-chip%22%3EOutliers%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w5-chip%22%3EMCAR%20%2F%20MAR%20%2F%20MNAR%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w5-chip%22%3EDistribution%20shift%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w5-chip-plain%20w5-chip%22%3EChecks%20are%20marked%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Ch2%3EBefore%20we%20start%3C%2Fh2%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-split%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22body%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3ETelling%20those%20four%20apart%20takes%20a%20minute%20of%20looking%20at%20the%20actual%20row.%20Getting%0A%20%20%20%20%20%20%20%20%20%20%20%20it%20wrong%20costs%20you%20either%20a%20real%20event%20or%20a%20month%20of%20quietly%20corrupted%20data%2C%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20training%20loss%20will%20not%20mention%20either.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThat%20is%20the%20shape%20of%20the%20week.%20A%20model%20never%20sees%20a%20customer.%20It%20sees%20a%20row%20of%0A%20%20%20%20%20%20%20%20%20%20%20%20fourteen%20numbers%20and%20a%20label%2C%20so%20it%20inherits%20every%20decision%20made%20while%20that%20row%0A%20%20%20%20%20%20%20%20%20%20%20%20was%20collected%3A%20who%20got%20measured%2C%20which%20fields%20somebody%20could%20be%20bothered%20to%20fill%0A%20%20%20%20%20%20%20%20%20%20%20%20in%2C%20what%20the%20sensor%20did%20on%20the%20day%20it%20was%20failing.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThree%20things%20go%20wrong%2C%20each%20with%20its%20own%20literature%20and%20its%20own%20remedy.%20Values%0A%20%20%20%20%20%20%20%20%20%20%20%20that%20do%20not%20belong.%20Values%20that%20are%20not%20there.%20And%20a%20dataset%20that%20was%20accurate%0A%20%20%20%20%20%20%20%20%20%20%20%20until%20the%20world%20it%20described%20moved%20on.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThe%20third%20is%20why%20this%20is%20a%20systems%20course%20rather%20than%20a%20statistics%20one.%0A%20%20%20%20%20%20%20%20%20%20%20%20Covariate%20shift%20does%20not%20raise%20an%20exception.%20Your%20dashboards%20stay%20green%20because%0A%20%20%20%20%20%20%20%20%20%20%20%20they%20are%20measuring%20the%20right%20things%3A%20the%20service%20really%20is%20returning%20200s%20at%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20usual%20latency.%20It%20is%20the%20answers%20inside%20them%20that%20are%20getting%20worse.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Caside%20class%3D%22w5-aside%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EBy%20the%20end%20you%20can%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Col%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EGive%20four%20reasons%20a%20value%20can%20be%20an%20outlier%2C%20and%20say%20why%20the%20response%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20differs%20for%20each.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EApply%20Tukey's%20fences%20and%20a%20z-score%2C%20and%20say%20which%20breaks%20on%20skewed%20data%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20and%20why.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EClassify%20missingness%20as%20MCAR%2C%20MAR%20or%20MNAR%2C%20and%20say%20what%20each%20permits.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ESay%20what%20complete-case%20deletion%20does%20to%20the%20composition%20of%20a%20dataset.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ETell%20covariate%2C%20concept%20and%20prior%20shift%20apart%20from%20monitoring%20alone.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fol%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22meta%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3ETime%3C%2Fdt%3E%3Cdd%3Eabout%2045%20min%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EBefore%20this%3C%2Fdt%3E%3Cdd%3EWeeks%201%20to%204%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EMarked%3F%3C%2Fdt%3E%3Cdd%3Echecks%20and%20quiz%2C%20one%20answer%20each%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Faside%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20question%20this%20lab%20answers%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22Nothing%20is%20throwing%20errors%20and%20the%20model%20is%20getting%20worse.%20What%20do%20I%0A%20%20%20%20%20%20%20%20%20%20measure%3F%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%201%3A%20Four%20reasons%20a%20value%20looks%20wrong%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Back%20to%20that%20%C2%A35%2C000%20charge.%0A%0A%20%20%20%20Flagging%20it%20took%20eight%20lines%20of%20pandas%3A%20the%20amount%20is%20far%20from%20everything%20else%20on%20the%0A%20%20%20%20account%2C%20which%20is%20all%20an%20outlier%20is.%20A%20point%20far%20from%20the%20rest%20of%20the%20distribution.%20That%0A%20%20%20%20definition%20is%20correct%20and%20it%20is%20not%20much%20use%20on%20its%20own%2C%20because%20it%20says%20nothing%20about%0A%20%20%20%20what%20to%20do%20next.%0A%0A%20%20%20%20Here%20are%20the%20four%20things%20it%20could%20be.%20The%20row%20is%20byte-for-byte%20identical%20in%20all%20four.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-cards%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-card%20bad%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EA%20data%20entry%20error%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22where%22%3Edrop%20or%20correct%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThe%20charge%20was%20%C2%A350%20and%20somebody's%20finger%20slipped.%20The%20value%20was%20never%20real%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20so%20there%20is%20nothing%20in%20it%20to%20preserve.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-card%20ok%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EA%20rare%20but%20legitimate%20event%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22where%22%3Ekeep%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EFour%20plane%20tickets.%20Unusual%20for%20this%20cardholder%20and%20entirely%20true.%20Delete%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20and%20you%20have%20taught%20the%20model%20to%20disbelieve%20things%20that%20happen.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-card%20gold%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EThe%20generating%20process%20changed%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22where%22%3Einvestigate%20upstream%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3ENew%20job%2C%20higher%20income%2C%20different%20spending.%20The%20point%20is%20not%20anomalous%20in%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20new%20world%3B%20your%20idea%20of%20normal%20is%20stale.%20Distribution%20shift%2C%20arriving%20one%20row%20at%0A%20%20%20%20%20%20%20%20%20%20%20%20a%20time.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-card%20bad%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EA%20failing%20measurement%20system%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22where%22%3Efix%20the%20instrument%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EA%20terminal%20double-charging%20everything%20it%20touches.%20The%20value%20describes%20your%0A%20%20%20%20%20%20%20%20%20%20%20%20hardware%2C%20not%20your%20customer%2C%20and%20there%20will%20be%20thousands%20more%20of%20them.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Two%20of%20those%20four%20say%20nothing%20about%20the%20cardholder.%20%22The%20process%20changed%22%20and%20%22the%0A%20%20%20%20instrument%20failed%22%20are%20statements%20about%20your%20pipeline.%20An%20outlier%20check%20is%20often%20the%0A%20%20%20%20cheapest%20monitoring%20you%20have%20on%20data%20collection%20itself%2C%20which%20is%20a%20better%20reason%20to%20run%0A%20%20%20%20one%20than%20cleaning%20is.%0A%0A%20%20%20%20It%20is%20also%20why%20%60df%20%3D%20df%5Bdf.amount%20%3C%20threshold%5D%60%20as%20a%20preprocessing%20step%20is%20a%20bad%20habit.%20It%0A%20%20%20%20handles%20the%20first%20case%20correctly%20and%20destroys%20the%20evidence%20in%20the%20other%20three.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q1%2C%20q1_render%2C%20q1_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22You%20find%20forty%20rows%20sitting%20far%20from%20the%20rest%20of%20the%20distribution.%20What%20is%20the%20right%20%22%0A%20%20%20%20%20%20%20%20%22first%20move%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Drop%20them.%20Outliers%20degrade%20model%20performance%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Keep%20them%20all.%20The%20tails%20are%20where%20the%20interesting%20cases%20live%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Work%20out%20which%20of%20the%20four%20causes%20applies%2C%20because%20the%20response%20differs%20for%20each%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Replace%20them%20with%20the%20column%20median%20to%20preserve%20the%20sample%20size%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%22Outlying%20and%20erroneous%20are%20different%20properties.%20A%20typo%20should%20go%3B%20a%20genuine%20rare%20%22%0A%20%20%20%20%20%20%20%20%22event%20has%20to%20stay%20or%20you%20train%20the%20model%20to%20reject%20reality%3B%20a%20failing%20sensor%20is%20a%20%22%0A%20%20%20%20%20%20%20%20%22hardware%20ticket%3B%20a%20changed%20process%20means%20your%20training%20distribution%20is%20going%20stale.%20%22%0A%20%20%20%20%20%20%20%20%22The%20only%20way%20to%20tell%20is%20to%20open%20a%20handful%20of%20the%20actual%20rows%20and%20look.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22q1%22%2C%0A%20%20%20%20)%0A%20%20%20%20q1%0A%20%20%20%20return%20q1%2C%20q1_render%2C%20q1_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q1%2C%20q1_render)%3A%0A%20%20%20%20q1_render(q1.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Part%202%3A%20Two%20ways%20to%20put%20a%20number%20on%20%22unusual%22%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Both%20standard%20univariate%20methods%20are%20one%20line%20of%20code.%20They%20disagree%20in%20a%20way%20that%0A%20%20%20%20matters%2C%20and%20the%20disagreement%20is%20the%20thing%20worth%20understanding.%0A%0A%20%20%20%20**Tukey's%20fences**%20work%20from%20order%20statistics.%20Sort%20the%20values%2C%20take%20the%20first%20quartile%0A%20%20%20%20%24Q_1%24%20and%20the%20third%20%24Q_3%24%2C%20and%20call%20the%20gap%20between%20them%20the%20interquartile%20range.%20Flag%0A%20%20%20%20anything%20below%20%24Q_1%20-%201.5%20%5Ctimes%20%5Cmathrm%7BIQR%7D%24%20or%20above%20%24Q_3%20%2B%201.5%20%5Ctimes%20%5Cmathrm%7BIQR%7D%24.%0A%20%20%20%20These%20are%20the%20whiskers%20on%20a%20boxplot.%0A%0A%20%20%20%20**The%20z-score**%20works%20from%20moments.%20Subtract%20the%20mean%2C%20divide%20by%20the%20standard%20deviation%2C%0A%20%20%20%20flag%20anything%20beyond%20about%20three.%0A%0A%20%20%20%20The%20slider%20moves%20one%20value%20in%20a%20nine-point%20sample.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20odd%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%2012%2C%2090%2C%20value%3Dsaved.get(%22odd%22%2C%2050)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22The%20last%20reading%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22The%20other%20eight%20never%20change%3A%20**5%2C%207%2C%208%2C%209%2C%2010%2C%2012%2C%2015%2C%2018**.%22)%2C%0A%20%20%20%20%20%20%20%20odd%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(odd%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(odd)%3A%0A%20%20%20%20import%20statistics%20as%20_stats%0A%0A%20%20%20%20BASE%20%3D%20%5B5%2C%207%2C%208%2C%209%2C%2010%2C%2012%2C%2015%2C%2018%5D%0A%20%20%20%20points%20%3D%20sorted(BASE%20%2B%20%5Bodd.value%5D)%0A%0A%20%20%20%20%23%20Tukey's%20hinges%3A%20split%20at%20the%20median%2C%20then%20take%20the%20median%20of%20each%20half.%20With%0A%20%20%20%20%23%20nine%20points%20the%20middle%20value%20belongs%20to%20neither%20half.%0A%20%20%20%20_half%20%3D%20len(points)%20%2F%2F%202%0A%20%20%20%20q1_val%20%3D%20_stats.median(points%5B%3A_half%5D)%0A%20%20%20%20q3_val%20%3D%20_stats.median(points%5B_half%20%2B%201%3A%5D)%0A%20%20%20%20iqr%20%3D%20q3_val%20-%20q1_val%0A%20%20%20%20low_fence%20%3D%20q1_val%20-%201.5%20*%20iqr%0A%20%20%20%20high_fence%20%3D%20q3_val%20%2B%201.5%20*%20iqr%0A%20%20%20%20tukey_flags%20%3D%20odd.value%20%3E%20high_fence%20or%20odd.value%20%3C%20low_fence%0A%0A%20%20%20%20%23%20The%20z-score%2C%20computed%20on%20the%20sample%20including%20the%20suspect%20point%2C%20which%20is%20how%0A%20%20%20%20%23%20it%20is%20normally%20done%20and%20is%20exactly%20where%20the%20trouble%20comes%20from.%0A%20%20%20%20mean_val%20%3D%20sum(points)%20%2F%20len(points)%0A%20%20%20%20sd_val%20%3D%20_stats.pstdev(points)%0A%20%20%20%20z_val%20%3D%20(odd.value%20-%20mean_val)%20%2F%20sd_val%20if%20sd_val%20else%200.0%0A%20%20%20%20z_flags%20%3D%20abs(z_val)%20%3E%203%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20high_fence%2C%0A%20%20%20%20%20%20%20%20iqr%2C%0A%20%20%20%20%20%20%20%20low_fence%2C%0A%20%20%20%20%20%20%20%20mean_val%2C%0A%20%20%20%20%20%20%20%20points%2C%0A%20%20%20%20%20%20%20%20q1_val%2C%0A%20%20%20%20%20%20%20%20q3_val%2C%0A%20%20%20%20%20%20%20%20sd_val%2C%0A%20%20%20%20%20%20%20%20tukey_flags%2C%0A%20%20%20%20%20%20%20%20z_flags%2C%0A%20%20%20%20%20%20%20%20z_val%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20high_fence%2C%20low_fence%2C%20mo%2C%20odd%2C%20points)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_lo%2C%20_hi%20%3D%200%2C%2095%0A%0A%20%20%20%20def%20_at(v)%3A%0A%20%20%20%20%20%20%20%20return%20max(0.0%2C%20min(100.0%2C%20(v%20-%20_lo)%20%2F%20(_hi%20-%20_lo)%20*%20100.0))%0A%0A%20%20%20%20_band_left%20%3D%20_at(max(low_fence%2C%20_lo))%0A%20%20%20%20_band_right%20%3D%20_at(min(high_fence%2C%20_hi))%0A%20%20%20%20_dots%20%3D%20%22%22%0A%20%20%20%20for%20_p%20in%20points%3A%0A%20%20%20%20%20%20%20%20_cls%20%3D%20%22dot%20out%22%20if%20(_p%20%3E%20high_fence%20or%20_p%20%3C%20low_fence)%20else%20%22dot%22%0A%20%20%20%20%20%20%20%20_dots%20%2B%3D%20f'%3Cspan%20class%3D%22%7B_cls%7D%22%20style%3D%22left%3A%7B_at(_p)%3A.2f%7D%25%22%3E%3C%2Fspan%3E'%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-line%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22band%22%20style%3D%22left%3A%7B_band_left%3A.2f%7D%25%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A%7Bmax(0.0%2C%20_band_right%20-%20_band_left)%3A.2f%7D%25%22%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22tag%22%20style%3D%22left%3A%7B_band_left%3A.2f%7D%25%22%3Elower%20fence%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22val%22%20style%3D%22left%3A%7B_band_left%3A.2f%7D%25%22%3E%7Blow_fence%3A.1f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22tag%22%20style%3D%22left%3A%7B_band_right%3A.2f%7D%25%22%3Eupper%20fence%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22val%22%20style%3D%22left%3A%7B_band_right%3A.2f%7D%25%22%3E%7Bhigh_fence%3A.1f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_dots%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.md(f%22Green%20is%20inside%20Tukey's%20fences.%20Your%20value%20is%20at%20**%7Bodd.value%7D**.%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20LAB_CSS%2C%0A%20%20%20%20high_fence%2C%0A%20%20%20%20iqr%2C%0A%20%20%20%20mean_val%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20q1_val%2C%0A%20%20%20%20q3_val%2C%0A%20%20%20%20sd_val%2C%0A%20%20%20%20tukey_flags%2C%0A%20%20%20%20z_flags%2C%0A%20%20%20%20z_val%2C%0A)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQ1%20to%20Q3%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bq1_val%3A.1f%7D%20to%20%7Bq3_val%3A.1f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ethe%20middle%20half%20of%20the%20sample%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EInterquartile%20range%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Biqr%3A.1f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Efences%20sit%201.5%20of%20these%20outside%20each%20quartile%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-stat%20%7B'red'%20if%20tukey_flags%20else%20'green'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ETukey's%20fences%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B'flagged'%20if%20tukey_flags%20else%20'not%20flagged'%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eupper%20fence%20is%20%7Bhigh_fence%3A.1f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-stat%20%7B'red'%20if%20z_flags%20else%20'green'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3Ez-score%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B'flagged'%20if%20z_flags%20else%20'not%20flagged'%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ez%20%3D%20%7Bz_val%3A.2f%7D%3B%20mean%20%7Bmean_val%3A.1f%7D%2C%20sd%20%7Bsd_val%3A.1f%7D%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20threshold%203%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(high_fence%2C%20mo%2C%20odd%2C%20tukey_flags%2C%20z_flags%2C%20z_val)%3A%0A%20%20%20%20if%20tukey_flags%20and%20not%20z_flags%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Tukey%20flags%20**%7Bodd.value%7D**.%20The%20z-score%20puts%20it%20at%20**%7Bz_val%3A.2f%7D**%20and%20lets%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22through.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20suspect%20point%20is%20in%20the%20sample%20used%20to%20compute%20the%20mean%20and%20the%20standard%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22deviation.%20It%20pulls%20the%20mean%20towards%20itself%20and%20inflates%20the%20denominator%2C%20so%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22further%20out%20it%20goes%20the%20more%20it%20raises%20the%20bar%20it%20is%20being%20measured%20against.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20called%20**masking**%2C%20and%20with%20a%20cluster%20of%20outliers%20it%20compounds%3A%20they%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22mask%20each%20other.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Quartiles%20are%20order%20statistics.%20Moving%20one%20extreme%20value%20does%20not%20move%20the%20middle%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22of%20a%20sorted%20list.%20The%20usual%20way%20to%20say%20this%20is%20that%20the%20median%20has%20a%20breakdown%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22point%20of%2050%20per%20cent%20and%20the%20mean%20has%20one%20of%20zero.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20elif%20tukey_flags%20and%20z_flags%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Both%20flag%20it.%20At%20**%7Bodd.value%7D**%20the%20point%20is%20extreme%20enough%20to%20clear%20even%20its%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22own%20inflated%20threshold.%20Bring%20it%20back%20to%20around%2050%20and%20the%20two%20methods%20part%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22company.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22info%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bodd.value%7D**%20is%20inside%20both.%20Tukey%20starts%20flagging%20past%20**%7Bhigh_fence%3A.1f%7D**.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Keep%20pushing%20after%20that%20and%20see%20how%20much%20further%20you%20have%20to%20go%20before%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22z-score%20agrees.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22neutral%22%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22When%20neither%20works%3A%20more%20than%20one%20column%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20Both%20methods%20above%20want%20a%20single%20column.%20Real%20tables%20have%20fifty%2C%20and%20a%20row%20can%20be%20perfectly%0A%20%20%20%20ordinary%20in%20every%20one%20of%20them%20and%20still%20be%20an%20impossible%20combination%3A%20age%207%2C%20income%20%C2%A390%2C000%2C%0A%20%20%20%20twenty%20years%20of%20driving%20experience.%20No%20univariate%20test%20will%20ever%20see%20that.%0A%0A%20%20%20%20**k-nearest-neighbour%20distance.**%20Measure%20the%20distance%20to%20your%20%24k%24%20nearest%20neighbours.%20Dense%0A%20%20%20%20neighbourhood%2C%20low%20score%3B%20if%20even%20your%20closest%20neighbour%20is%20far%20away%2C%20high%20score.%20Local%0A%20%20%20%20Outlier%20Factor%20refines%20it%20by%20comparing%20your%20density%20to%20your%20neighbours'%20density%2C%20which%20copes%0A%20%20%20%20with%20datasets%20that%20have%20naturally%20dense%20and%20sparse%20regions.%0A%0A%20%20%20%20The%20catch%20is%20the%20curse%20of%20dimensionality.%20As%20dimensions%20grow%2C%20the%20ratio%20between%20the%20nearest%0A%20%20%20%20and%20the%20furthest%20neighbour%20tends%20towards%201%2C%20so%20%22distance%20to%20neighbours%22%20stops%20separating%0A%20%20%20%20anything.%20That%20is%20a%20property%20of%20high-dimensional%20space%2C%20not%20a%20tuning%20problem%2C%20and%20it%20is%20why%0A%20%20%20%20people%20reach%20for%20the%20next%20two.%0A%0A%20%20%20%20**Isolation%20Forest.**%20Build%20random%20trees%20by%20picking%20a%20random%20feature%20and%20a%20random%20split%0A%20%20%20%20point.%20Points%20in%20sparse%20regions%20get%20isolated%20into%20their%20own%20leaf%20after%20very%20few%20splits%2C%20so%0A%20%20%20%20the%20average%20path%20length%20to%20isolate%20a%20point%20is%20the%20anomaly%20score.%20Cheap%2C%20copes%20with%20many%0A%20%20%20%20dimensions%2C%20needs%20no%20distance%20metric.%0A%0A%20%20%20%20**Autoencoders.**%20Train%20a%20network%20to%20reproduce%20its%20own%20input%20through%20a%20narrow%20bottleneck.%0A%20%20%20%20Train%20it%20mostly%20on%20normal%20data%20and%20it%20becomes%20good%20at%20reconstructing%20normal%20patterns%3B%20feed%20it%0A%20%20%20%20something%20structurally%20unlike%20anything%20it%20saw%20and%20the%20reconstruction%20error%20is%20large.%20The%0A%20%20%20%20error%20is%20the%20score.%20This%20is%20the%20standard%20move%20for%20images%2C%20audio%20and%20sensor%20streams%2C%20where%0A%20%20%20%20handcrafting%20a%20distance%20is%20hopeless.%0A%0A%20%20%20%20For%20both%20of%20the%20last%20two%2C%20the%20representation%20matters%20more%20than%20the%20algorithm.%20Run%20k-NN%20on%20raw%0A%20%20%20%20pixels%20and%20you%20are%20measuring%20brightness.%20Run%20it%20on%20embeddings%20from%20a%20trained%20network%20and%20you%0A%20%20%20%20are%20measuring%20something%20closer%20to%20content.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q2%2C%20q2_render%2C%20q2_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22You%20are%20screening%20a%20column%20of%20household%20incomes.%20The%20distribution%20is%20strongly%20%22%0A%20%20%20%20%20%20%20%20%22right-skewed%3A%20most%20households%20are%20modest%2C%20a%20long%20tail%20earns%20far%20more.%20Which%20method%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20z-score%2C%20since%20income%20is%20continuous%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Tukey's%20fences%2C%20since%20the%20mean%20and%20standard%20deviation%20are%20pulled%20by%20the%20tail%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Either.%20On%20the%20same%20data%20they%20flag%20the%20same%20points%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%22The%20tail%20is%20a%20real%20feature%20of%20income%2C%20not%20contamination%2C%20and%20it%20inflates%20both%20the%20%22%0A%20%20%20%20%20%20%20%20%22mean%20and%20the%20standard%20deviation%2C%20so%20a%20z-score%20goes%20quiet%20exactly%20where%20you%20wanted%20it%20%22%0A%20%20%20%20%20%20%20%20%22to%20speak.%20Quartiles%20do%20not%20care%20how%20extreme%20the%20tail%20is%2C%20only%20how%20many%20points%20are%20in%20%22%0A%20%20%20%20%20%20%20%20%22it.%20In%20practice%20people%20often%20log-transform%20income%20first%2C%20which%20makes%20the%20distribution%20%22%0A%20%20%20%20%20%20%20%20%22roughly%20symmetric%20and%20brings%20the%20z-score%20back%20into%20play.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22q2%22%2C%0A%20%20%20%20)%0A%20%20%20%20q2%0A%20%20%20%20return%20q2%2C%20q2_render%2C%20q2_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q2%2C%20q2_render)%3A%0A%20%20%20%20q2_render(q2.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%203%3A%20Outlier%20detection%20and%20anomaly%20detection%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20These%20two%20get%20used%20interchangeably%20and%20they%20describe%20different%20setups.%0A%0A%20%20%20%20**Outlier%20detection**%20is%20retrospective.%20You%20hold%20the%20whole%20dataset.%20Which%20of%20these%2010%2C000%0A%20%20%20%20rows%20are%20unusual%20relative%20to%20the%20other%209%2C999%3F%20Every%20method%20above%20fits%20this%2C%20because%20they%0A%20%20%20%20all%20need%20the%20sample%20in%20order%20to%20compute%20quartiles%2C%20densities%20or%20splits.%0A%0A%20%20%20%20**Anomaly%20detection**%20is%20prospective.%20You%20learned%20what%20normal%20looked%20like%20during%20training.%0A%20%20%20%20A%20new%20row%20arrives%20at%2003%3A14%20and%20the%20question%20is%20whether%20it%20came%20from%20that%20distribution.%20You%0A%20%20%20%20cannot%20recompute%20quartiles%20on%20a%20sample%20of%20one.%0A%0A%20%20%20%20Turning%20the%20first%20into%20the%20second%20is%20mechanical%2C%20and%20worth%20writing%20down%20because%20it%20is%20the%0A%20%20%20%20shape%20of%20every%20production%20anomaly%20detector%3A%0A%0A%20%20%20%201.%20Fit%20the%20scorer%20on%20reference%20data%20you%20believe%20is%20clean.%0A%20%20%20%202.%20Freeze%20it%2C%20and%20score%20that%20reference%20data%20to%20get%20the%20distribution%20of%20normal%20scores.%0A%20%20%20%203.%20Pick%20a%20threshold%20from%20that%20distribution%2C%20the%2099.5th%20percentile%20say%2C%20chosen%20by%0A%20%20%20%20%20%20%20how%20many%20false%20alarms%20the%20people%20on%20call%20will%20tolerate.%0A%20%20%20%204.%20In%20production%2C%20score%20each%20arriving%20row%20against%20the%20frozen%20threshold.%0A%0A%20%20%20%20Step%20three%20is%20the%20one%20that%20gets%20skipped%2C%20and%20it%20decides%20whether%20anybody%20is%20still%20reading%0A%20%20%20%20the%20alerts%20in%20six%20weeks.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q3%2C%20q3_render%2C%20q3_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22What%20actually%20separates%20outlier%20detection%20from%20anomaly%20detection%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Outlier%20methods%20are%20statistical%3B%20anomaly%20methods%20are%20learned%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Outlier%20detection%20scores%20rows%20against%20the%20dataset%20they%20sit%20in%3B%20anomaly%20detection%20scores%20new%20rows%20against%20a%20frozen%20notion%20of%20normal%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Anomalies%20are%20always%20errors%3B%20outliers%20are%20sometimes%20legitimate%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%22It%20is%20about%20what%20is%20available%20when%20you%20ask%2C%20not%20which%20maths%20you%20use.%20Isolation%20%22%0A%20%20%20%20%20%20%20%20%22Forest%20will%20do%20either%20job.%20Over%20a%20dataset%20you%20hold%2C%20you%20can%20ask%20what%20is%20unusual%20%22%0A%20%20%20%20%20%20%20%20%22relative%20to%20the%20rest%20of%20it.%20In%20production%20you%20have%20one%20row%20and%20a%20scorer%20fitted%20%22%0A%20%20%20%20%20%20%20%20%22earlier%2C%20and%20the%20threshold%20has%20to%20have%20been%20chosen%20in%20advance.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22q3%22%2C%0A%20%20%20%20)%0A%20%20%20%20q3%0A%20%20%20%20return%20q3%2C%20q3_render%2C%20q3_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q3%2C%20q3_render)%3A%0A%20%20%20%20q3_render(q3.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%204%3A%20Why%20a%20value%20is%20missing%20decides%20what%20you%20may%20do%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20instinct%20on%20seeing%20a%20null%20is%20to%20ask%20what%20to%20put%20there.%20The%20prior%20question%20is%20why%20it%20is%0A%20%20%20%20empty%2C%20because%20the%20answer%20decides%20whether%20imputation%20is%20valid%20at%20all.%0A%0A%20%20%20%20Rubin's%201976%20taxonomy%20is%20the%20standard%20vocabulary.%20The%20names%20are%20unhelpfully%20similar%2C%20so%0A%20%20%20%20anchor%20each%20one%20to%20an%20example%20and%20keep%20it.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Ctable%20class%3D%22w5-table%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EMechanism%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EMissingness%20depends%20on%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EExample%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EWhat%20it%20permits%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3E%3Cstrong%3EMCAR%3C%2Fstrong%3E%3Cbr%3Emissing%20completely%20at%20random%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3ENothing%20in%20the%20data%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3EA%20scanner%20jams%20and%20destroys%20a%20batch%20of%20returned%20forms%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22yes%22%3EDeletion%20and%20imputation%20are%20both%20unbiased.%20You%20lose%20precision%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20not%20validity.%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3E%3Cstrong%3EMAR%3C%2Fstrong%3E%3Cbr%3Emissing%20at%20random%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3EObserved%20variables%20only%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3EYounger%20respondents%20skip%20the%20income%20question%2C%20and%20you%20recorded%20age%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22yes%22%3EImputation%20is%20valid%20if%20you%20condition%20on%20the%20variables%20that%0A%20%20%20%20%20%20%20%20%20%20%20%20explain%20it.%20Naive%20deletion%20is%20biased.%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3E%3Cstrong%3EMNAR%3C%2Fstrong%3E%3Cbr%3Emissing%20not%20at%20random%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3EThe%20unobserved%20value%20itself%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3EHigh%20earners%20decline%20to%20state%20their%20income%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22no%22%3ENeither%20is%20safe%20from%20the%20data%20alone.%20You%20need%20an%20explicit%20model%0A%20%20%20%20%20%20%20%20%20%20%20%20of%20the%20missingness%2C%20or%20information%20from%20outside%20the%20dataset.%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20MNAR%20is%20the%20one%20to%20be%20frightened%20of%2C%20and%20the%20mechanism%20of%20the%20damage%20is%20worth%20spelling%0A%20%20%20%20out.%20If%20the%20people%20declining%20are%20the%20high%20earners%2C%20every%20income%20you%20can%20observe%20is%20drawn%0A%20%20%20%20from%20the%20lower%20part%20of%20the%20distribution.%20Impute%20the%20observed%20mean%20into%20the%20blanks%20and%20the%0A%20%20%20%20error%20is%20not%20noise%2C%20it%20is%20bias%3A%20wrong%20in%20the%20same%20direction%20every%20time.%20Your%20dataset%20now%0A%20%20%20%20says%20the%20population%20is%20poorer%20than%20it%20is%2C%20and%20no%20diagnostic%20run%20on%20it%20will%20say%20otherwise%2C%0A%20%20%20%20because%20the%20evidence%20you%20would%20need%20is%20exactly%20what%20is%20missing.%0A%0A%20%20%20%20One%20more%20thing%20that%20catches%20people%20out.%20**MAR%20and%20MNAR%20are%20not%20properties%20of%20the%20world%2C%0A%20%20%20%20they%20are%20properties%20of%20the%20data%20you%20collected.**%20The%20same%20real%20process%20is%20MAR%20if%20you%0A%20%20%20%20recorded%20the%20variable%20explaining%20the%20missingness%20and%20MNAR%20if%20you%20did%20not.%20That%20is%20not%20a%0A%20%20%20%20technicality%3A%20it%20makes%20%22record%20why%20a%20field%20is%20blank%22%20a%20design%20decision%20with%20statistical%0A%20%20%20%20consequences%2C%20and%20one%20that%20has%20to%20be%20made%20before%20collection%20rather%20than%20after.%0A%0A%20%20%20%20Three%20cases.%20One%20answer%20each.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20m1%2C%20m1_render%2C%20m1_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**1.**%20A%20hospital%20dataset%20has%20a%20lab%20result%20column.%20The%20test%20is%20expensive%2C%20so%20it%20is%20%22%0A%20%20%20%20%20%20%20%20%22ordered%20mainly%20for%20patients%20who%20already%20present%20as%20seriously%20ill.%20Everyone%20else%20has%20a%20%22%0A%20%20%20%20%20%20%20%20%22null.%20The%20dataset%20also%20contains%20triage%20severity%20at%20admission.%22%2C%0A%20%20%20%20%20%20%20%20%7B%22MCAR%22%3A%20%22mcar%22%2C%20%22MAR%22%3A%20%22mar%22%2C%20%22MNAR%22%3A%20%22mnar%22%7D%2C%0A%20%20%20%20%20%20%20%20%22mar%22%2C%0A%20%20%20%20%20%20%20%20%22Ordering%20depends%20on%20how%20ill%20the%20patient%20looked%2C%20and%20triage%20severity%20is%20in%20the%20%22%0A%20%20%20%20%20%20%20%20%22dataset%2C%20so%20the%20missingness%20is%20explained%20by%20an%20observed%20variable.%20Condition%20on%20it%20and%20%22%0A%20%20%20%20%20%20%20%20%22imputation%20is%20defensible.%20Drop%20that%20column%20from%20the%20extract%20and%20the%20identical%20%22%0A%20%20%20%20%20%20%20%20%22clinical%20situation%20becomes%20MNAR%2C%20because%20the%20only%20thing%20explaining%20the%20blank%20is%20now%20%22%0A%20%20%20%20%20%20%20%20%22something%20you%20no%20longer%20hold.%20This%20is%20the%20example%20that%20shows%20the%20classification%20%22%0A%20%20%20%20%20%20%20%20%22depends%20on%20your%20schema%2C%20not%20on%20the%20hospital.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22m1%22%2C%0A%20%20%20%20)%0A%20%20%20%20m1%0A%20%20%20%20return%20m1%2C%20m1_render%2C%20m1_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(m1%2C%20m1_render)%3A%0A%20%20%20%20m1_render(m1.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20m2%2C%20m2_render%2C%20m2_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**2.**%20Paper%20surveys%20are%20returned%20by%20post.%20A%20sorting%20machine%20at%20the%20depot%20destroys%20one%20%22%0A%20%20%20%20%20%20%20%20%22sack.%20Those%20responses%20never%20arrive.%22%2C%0A%20%20%20%20%20%20%20%20%7B%22MCAR%22%3A%20%22mcar%22%2C%20%22MAR%22%3A%20%22mar%22%2C%20%22MNAR%22%3A%20%22mnar%22%7D%2C%0A%20%20%20%20%20%20%20%20%22mcar%22%2C%0A%20%20%20%20%20%20%20%20%22The%20machine%20had%20no%20access%20to%20the%20contents%20and%20no%20preference%20about%20whose%20form%20it%20%22%0A%20%20%20%20%20%20%20%20%22destroyed%2C%20so%20nothing%20about%20the%20respondent%20changed%20the%20probability%20of%20loss.%20This%20is%20%22%0A%20%20%20%20%20%20%20%20%22the%20only%20mechanism%20where%20complete-case%20deletion%20costs%20you%20nothing%20but%20statistical%20%22%0A%20%20%20%20%20%20%20%20%22power.%20It%20is%20also%20the%20rarest%20in%20practice%3A%20most%20real%20missingness%20has%20a%20reason.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22m2%22%2C%0A%20%20%20%20)%0A%20%20%20%20m2%0A%20%20%20%20return%20m2%2C%20m2_render%2C%20m2_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(m2%2C%20m2_render)%3A%0A%20%20%20%20m2_render(m2.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20m3%2C%20m3_render%2C%20m3_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**3.**%20An%20app%20asks%20for%20a%20star%20rating.%20People%20who%20are%20mildly%20satisfied%20ignore%20the%20%22%0A%20%20%20%20%20%20%20%20%22prompt.%20The%20ones%20who%20respond%20are%20either%20delighted%20or%20furious.%22%2C%0A%20%20%20%20%20%20%20%20%7B%22MCAR%22%3A%20%22mcar%22%2C%20%22MAR%22%3A%20%22mar%22%2C%20%22MNAR%22%3A%20%22mnar%22%7D%2C%0A%20%20%20%20%20%20%20%20%22mnar%22%2C%0A%20%20%20%20%20%20%20%20%22Whether%20somebody%20answers%20depends%20on%20what%20their%20answer%20would%20have%20been.%20The%20middle%20of%20%22%0A%20%20%20%20%20%20%20%20%22the%20distribution%20is%20missing%20precisely%20because%20it%20is%20the%20middle%2C%20and%20no%20column%20you%20%22%0A%20%20%20%20%20%20%20%20%22hold%20reconstructs%20it.%20Imputing%20the%20observed%20mean%20inherits%20the%20J-shaped%20bias%20you%20were%20%22%0A%20%20%20%20%20%20%20%20%22trying%20to%20remove.%20The%20honest%20options%20are%20to%20state%20the%20limitation%2C%20or%20to%20go%20and%20sample%20%22%0A%20%20%20%20%20%20%20%20%22the%20quiet%20majority%20deliberately%20instead%20of%20waiting%20for%20volunteers.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22m3%22%2C%0A%20%20%20%20)%0A%20%20%20%20m3%0A%20%20%20%20return%20m3%2C%20m3_render%2C%20m3_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(m3%2C%20m3_render)%3A%0A%20%20%20%20m3_render(m3.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%205%3A%20What%20complete-case%20deletion%20costs%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60df.dropna()%60%20is%20one%20call%20and%20it%20is%20the%20most%20common%20thing%20anybody%20does%20about%20missing%20data.%0A%20%20%20%20It%20is%20defensible%20under%20MCAR.%20Under%20MAR%20it%20changes%20the%20composition%20of%20the%20dataset%2C%20and%20the%0A%20%20%20%20change%20does%20not%20appear%20in%20any%20summary%20statistic%20you%20are%20likely%20to%20look%20at.%0A%0A%20%20%20%20Ten%20thousand%20customers.%20Eight%20thousand%20arrived%20through%20a%20sign-up%20route%20that%20has%20existed%0A%20%20%20%20for%20years%20and%20makes%20the%20field%20required.%20Two%20thousand%20came%20through%20a%20newer%20route%20where%20the%0A%20%20%20%20same%20field%20is%20optional.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20gap%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%205%2C%2085%2C%20value%3Dsaved.get(%22gap%22%2C%2050)%2C%20step%3D5%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20often%20the%20newer%20route%20leaves%20the%20field%20blank%20(per%20cent)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20gap%0A%20%20%20%20return%20(gap%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(gap)%3A%0A%20%20%20%20OLD_N%2C%20NEW_N%20%3D%208000%2C%202000%0A%20%20%20%20OLD_BLANK%20%3D%200.04%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20the%20established%20route%2C%20nearly%20always%20complete%0A%0A%20%20%20%20old_left%20%3D%20round(OLD_N%20*%20(1%20-%20OLD_BLANK))%0A%20%20%20%20new_left%20%3D%20round(NEW_N%20*%20(1%20-%20gap.value%20%2F%20100.0))%0A%20%20%20%20total_left%20%3D%20old_left%20%2B%20new_left%0A%0A%20%20%20%20share_before%20%3D%20NEW_N%20%2F%20(OLD_N%20%2B%20NEW_N)%20*%20100%0A%20%20%20%20share_after%20%3D%20new_left%20%2F%20total_left%20*%20100%20if%20total_left%20else%200.0%0A%20%20%20%20rows_lost%20%3D%20(OLD_N%20%2B%20NEW_N)%20-%20total_left%0A%20%20%20%20return%20NEW_N%2C%20new_left%2C%20rows_lost%2C%20share_after%2C%20share_before%2C%20total_left%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20LAB_CSS%2C%0A%20%20%20%20NEW_N%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20new_left%2C%0A%20%20%20%20rows_lost%2C%0A%20%20%20%20share_after%2C%0A%20%20%20%20share_before%2C%0A%20%20%20%20total_left%2C%0A)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_drop%20%3D%20share_before%20-%20share_after%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-bars%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-bar%20gold%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22t%22%3ENewer%20route%2C%20before%20dropna%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22track%22%3E%3Cspan%20class%3D%22fill%22%20style%3D%22width%3A%7Bshare_before%3A.1f%7D%25%22%3E%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7Bshare_before%3A.1f%7D%25%20of%20rows%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-bar%20%7B'bad'%20if%20_drop%20%3E%205%20else%20'good'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22t%22%3ENewer%20route%2C%20after%20dropna%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22track%22%3E%3Cspan%20class%3D%22fill%22%20style%3D%22width%3A%7Bshare_after%3A.1f%7D%25%22%3E%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7Bshare_after%3A.1f%7D%25%20of%20rows%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ERows%20dropped%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Brows_lost%3A%2C%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eof%2010%2C000%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ERows%20remaining%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Btotal_left%3A%2C%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ea%20respectable%20sample%20size%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-stat%20%7B'red'%20if%20_drop%20%3E%205%20else%20'green'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ENewer%20route%20remaining%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bnew_left%3A%2C%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ewas%20%7BNEW_N%3A%2C%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20new_left%2C%20share_after%2C%20share_before%2C%20total_left)%3A%0A%20%20%20%20_drop%20%3D%20share_before%20-%20share_after%0A%20%20%20%20if%20_drop%20%3C%203%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Close%20to%20MCAR%2C%20and%20deletion%20is%20close%20to%20harmless%20here%3A%20you%20lose%20sample%20size%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20mix%20survives.%20Push%20the%20slider%20further%20to%20leave%20that%20regime.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22info%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22You%20still%20have%20**%7Btotal_left%3A%2C%7D**%20rows.%20Nothing%20in%20%60df.shape%60%2C%20%60df.describe()%60%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22or%20your%20validation%20accuracy%20will%20suggest%20anything%20is%20wrong.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22The%20newer%20route%20has%20gone%20from%20**%7Bshare_before%3A.0f%7D%25**%20of%20the%20data%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bshare_after%3A.0f%7D%25**%2C%20which%20is%20%7Bnew_left%3A%2C%7D%20people.%20You%20did%20not%20decide%20to%20train%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22mainly%20on%20long-standing%20customers.%20%60dropna()%60%20decided%20it%20as%20a%20side%20effect.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Then%20the%20model%20serves%20both%20routes%20equally.%20Headline%20accuracy%20is%20an%20average%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22weighted%20by%20group%20size%2C%20so%20a%20group%20that%20shrank%20to%20a%20tenth%20of%20the%20data%20can%20be%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22served%20badly%20for%20months%20without%20moving%20the%20number%20anyone%20watches.%20Per-group%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22evaluation%20is%20the%20only%20thing%20that%20catches%20it%2C%20and%20only%20if%20you%20kept%20the%20group%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22label.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22The%20alternatives%2C%20and%20what%20each%20one%20costs%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20**Mean%2C%20median%20or%20mode%20imputation.**%20One%20line%2C%20and%20it%20compresses%20the%20variance%20of%20that%20column%3A%0A%20%20%20%20every%20imputed%20row%20sits%20exactly%20at%20the%20centre.%20Anything%20downstream%20will%20be%20overconfident%20about%0A%20%20%20%20the%20column%2C%20and%20correlations%20involving%20it%20are%20attenuated.%20Fine%20for%20a%20quick%20baseline%2C%20rarely%0A%20%20%20%20fine%20for%20anything%20you%20report.%0A%0A%20%20%20%20**Model-based%20imputation.**%20Predict%20the%20missing%20column%20from%20the%20others.%20MICE%20(multiple%0A%20%20%20%20imputation%20by%20chained%20equations)%20does%20this%20iteratively%20and%20produces%20*several*%20completed%0A%20%20%20%20datasets%2C%20so%20the%20uncertainty%20introduced%20by%20imputing%20survives%20into%20your%20final%20error%20bars%0A%20%20%20%20instead%20of%20vanishing.%20Single%20imputation%20hides%20that%20uncertainty%20entirely.%0A%0A%20%20%20%20**A%20missingness%20indicator.**%20Keep%20the%20imputed%20value%20and%20add%20a%20binary%20column%20that%20is%201%20where%0A%20%20%20%20the%20original%20was%20null.%20If%20the%20fact%20of%20being%20missing%20carries%20signal%2C%20and%20under%20MAR%20and%20MNAR%0A%20%20%20%20it%20usually%20does%2C%20the%20model%20can%20use%20it%20directly%20instead%20of%20being%20misled%20by%20your%20fabricated%20value.%0A%20%20%20%20Cheap%2C%20and%20it%20preserves%20information%20every%20other%20method%20discards.%0A%0A%20%20%20%20**Drop%20the%20column.**%20At%2095%20per%20cent%20null%20you%20do%20not%20have%20a%20sparse%20column%2C%20you%20have%20a%20handful%0A%20%20%20%20of%20observations%20and%20an%20imputation%20rule.%20Keeping%20it%20mostly%20means%20training%20on%20the%20rule.%0A%0A%20%20%20%20**Fix%20the%20collection.**%20A%20field%20blank%20half%20the%20time%20on%20one%20route%20is%20usually%20a%20form%20with%20a%20bad%0A%20%20%20%20default%20or%20a%20validation%20rule%20that%20never%20fires.%20That%20is%20a%20day's%20work%20upstream%20that%20removes%20the%0A%20%20%20%20problem%20permanently%2C%20against%20a%20modelling%20workaround%20you%20maintain%20forever.%0A%0A%20%20%20%20One%20rule%20holds%20for%20all%20of%20them%3A%20**fit%20the%20imputer%20on%20the%20training%20split%20only.**%20Computing%20a%0A%20%20%20%20median%20over%20the%20full%20dataset%20and%20splitting%20afterwards%20leaks%20test%20information%20into%20training%2C%0A%20%20%20%20in%20exactly%20the%20way%20Week%204's%20resampling%20example%20did.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q4%2C%20q4_render%2C%20q4_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22Why%20is%20complete-case%20deletion%20risky%20even%20when%20thousands%20of%20rows%20remain%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Smaller%20training%20sets%20always%20produce%20worse%20models%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Whoever%20had%20the%20nulls%20is%20now%20under-represented%2C%20so%20you%20silently%20changed%20the%20population%20the%20model%20learns%20from%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Dropping%20rows%20invalidates%20the%20train%2Ftest%20split%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%22Nulls%20cluster%3A%20by%20sign-up%20route%2C%20by%20device%2C%20by%20region%2C%20by%20clinic%2C%20by%20age.%20Deleting%20%22%0A%20%20%20%20%20%20%20%20%22them%20is%20not%20random%20thinning%2C%20it%20is%20a%20reweighting%20of%20the%20population%20towards%20whoever%20%22%0A%20%20%20%20%20%20%20%20%22fills%20forms%20in%20completely.%20Sample%20size%20tells%20you%20nothing%20about%20it%2C%20and%20neither%20does%20%22%0A%20%20%20%20%20%20%20%20%22aggregate%20accuracy%2C%20because%20the%20group%20that%20shrank%20contributes%20proportionally%20less%20to%20%22%0A%20%20%20%20%20%20%20%20%22that%20average.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22q4%22%2C%0A%20%20%20%20)%0A%20%20%20%20q4%0A%20%20%20%20return%20q4%2C%20q4_render%2C%20q4_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q4%2C%20q4_render)%3A%0A%20%20%20%20q4_render(q4.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%206%3A%20When%20the%20world%20stops%20matching%20the%20training%20set%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Supervised%20learning%20assumes%20training%20and%20deployment%20data%20come%20from%20the%20same%20joint%0A%20%20%20%20distribution%20%24P(X%2C%20Y)%24.%20Every%20accuracy%20figure%20you%20have%20ever%20quoted%20is%20conditional%20on%20that%2C%0A%20%20%20%20and%20deployed%20systems%20break%20it%20routinely.%20The%20standard%20example%20is%20a%20model%20trained%20on%202019%0A%20%20%20%20retail%20behaviour%20and%20run%20through%202020%3A%20not%20a%20line%20of%20code%20changed%2C%20and%20the%20inputs%20stopped%0A%20%20%20%20meaning%20what%20they%20had%20meant.%0A%0A%20%20%20%20%22The%20distribution%20changed%22%20is%20not%20actionable.%20The%20joint%20factorises%20two%20ways%2C%20and%20which%0A%20%20%20%20factor%20moved%20decides%20what%20you%20can%20do%20about%20it.%0A%0A%20%20%20%20%24%24P(X%2C%20Y)%20%3D%20P(Y%20%5Cmid%20X)%5C%2CP(X)%20%3D%20P(X%20%5Cmid%20Y)%5C%2CP(Y)%24%24%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-cards%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-card%20gold%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3ECovariate%20shift%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22where%22%3EP(X)%20moves%2C%20P(Y%7CX)%20fixed%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThe%20inputs%20change%3B%20the%20rule%20mapping%20input%20to%20output%20does%20not.%20A%20house-price%0A%20%20%20%20%20%20%20%20%20%20%20%20model%20trained%20on%20suburban%20stock%2C%20now%20pricing%20city%20flats.%20It%20is%20right%20wherever%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20has%20seen%20examples%20and%20extrapolating%20where%20it%20has%20not.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-card%20bad%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EConcept%20shift%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22where%22%3EP(Y%7CX)%20moves%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThe%20same%20input%20now%20implies%20a%20different%20output.%20The%20relationship%20between%0A%20%20%20%20%20%20%20%20%20%20%20%20financial%20characteristics%20and%20default%2C%20after%20an%20economic%20shock.%20The%20expensive%0A%20%20%20%20%20%20%20%20%20%20%20%20one%2C%20because%20the%20target%20itself%20moved.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-card%20gold%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EPrior%20probability%20shift%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22where%22%3EP(Y)%20moves%2C%20P(X%7CY)%20fixed%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EEach%20class%20still%20looks%20exactly%20as%20it%20did%3B%20the%20proportions%20changed.%20A%0A%20%20%20%20%20%20%20%20%20%20%20%20screening%20model%20built%20on%20general-population%20prevalence%2C%20deployed%20in%20a%20specialist%0A%20%20%20%20%20%20%20%20%20%20%20%20clinic.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-card%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EIn%20practice%2C%20several%20at%20once%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22where%22%3Eand%20gradually%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EReal%20shifts%20are%20mixed%20and%20often%20slow.%20The%20three%20questions%20are%20still%20worth%0A%20%20%20%20%20%20%20%20%20%20%20%20asking%20separately%2C%20because%20the%20remedies%20differ%20and%20only%20one%20of%20them%20is%20cheap.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Prior%20shift%2C%20with%20the%20arithmetic%0A%0A%20%20%20%20Prior%20shift%20is%20the%20one%20people%20find%20hardest%20to%20believe%2C%20so%20here%20it%20is%20in%20numbers.%0A%0A%20%20%20%20A%20test%20has%20fixed%20operating%20characteristics%3A%20**sensitivity%2090%20per%20cent**%20(it%20catches%2090%20of%0A%20%20%20%20every%20100%20genuine%20cases)%20and%20**specificity%2095%20per%20cent**%20(it%20wrongly%20flags%205%20of%20every%20100%0A%20%20%20%20negatives).%20Those%20are%20properties%20of%20the%20test%20and%20nothing%20below%20changes%20them.%0A%0A%20%20%20%20The%20only%20thing%20moving%20is%20prevalence.%20Watch%20the%20positive%20predictive%20value.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20prevalence%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%2040%2C%20value%3Dsaved.get(%22prevalence%22%2C%201)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Prevalence%3A%20cases%20per%20100%20people%20in%20the%20room%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20prevalence%0A%20%20%20%20return%20(prevalence%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(prevalence)%3A%0A%20%20%20%20PEOPLE%20%3D%2010000%0A%20%20%20%20SENSITIVITY%20%3D%200.90%0A%20%20%20%20SPECIFICITY%20%3D%200.95%0A%0A%20%20%20%20ill%20%3D%20round(PEOPLE%20*%20prevalence.value%20%2F%20100.0)%0A%20%20%20%20healthy%20%3D%20PEOPLE%20-%20ill%0A%20%20%20%20caught%20%3D%20round(ill%20*%20SENSITIVITY)%0A%20%20%20%20false_alarms%20%3D%20round(healthy%20*%20(1%20-%20SPECIFICITY))%0A%20%20%20%20flagged%20%3D%20caught%20%2B%20false_alarms%0A%20%20%20%20trust%20%3D%20caught%20%2F%20flagged%20*%20100%20if%20flagged%20else%200.0%0A%20%20%20%20return%20caught%2C%20false_alarms%2C%20flagged%2C%20healthy%2C%20ill%2C%20trust%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20caught%2C%20false_alarms%2C%20flagged%2C%20healthy%2C%20ill%2C%20mo%2C%20trust)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EGenuine%20cases%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bill%3A%2C%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eof%2010%2C000%20tested%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-stat%20green%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ETrue%20positives%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bcaught%3A%2C%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E90%25%20of%20cases%2C%20unchanged%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-stat%20red%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EFalse%20positives%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bfalse_alarms%3A%2C%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E5%25%20of%20the%20%7Bhealthy%3A%2C%7D%20negatives%2C%20unchanged%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-stat%20%7B'green'%20if%20trust%20%3E%3D%2050%20else%20'red'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EPositive%20predictive%20value%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Btrust%3A.0f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E%7Bcaught%3A%2C%7D%20true%20of%20%7Bflagged%3A%2C%7D%20flagged%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20prevalence%2C%20trust)%3A%0A%20%20%20%20if%20prevalence.value%20%3C%3D%202%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Sensitivity%2090%2C%20specificity%2095%2C%20and%20a%20positive%20result%20means%20a%20**%7Btrust%3A.0f%7D%20per%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cent**%20chance%20the%20person%20has%20it.%20Four%20in%20five%20of%20the%20people%20you%20flag%20are%20fine%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22have%20just%20been%20told%20otherwise.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20arithmetic%20is%20unavoidable%3A%205%20per%20cent%20of%20a%20large%20negative%20population%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22outnumbers%2090%20per%20cent%20of%20a%20small%20positive%20one.%20This%20is%20the%20base%20rate%20fallacy%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22and%20it%20is%20why%20screening%20for%20rare%20conditions%20needs%20specificity%20far%20beyond%20what%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sounds%20impressive%20in%20a%20paper.%20**Now%20move%20the%20slider%20to%2020.**%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22danger%22%0A%20%20%20%20elif%20prevalence.value%20%3E%3D%2015%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Identical%20test.%20Sensitivity%20still%2090%2C%20specificity%20still%2095.%20Positive%20predictive%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22value%20is%20now%20**%7Btrust%3A.0f%7D%20per%20cent**.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20cuts%20both%20ways%20and%20the%20second%20direction%20is%20the%20dangerous%20one.%20Validate%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22model%20in%20a%20specialist%20clinic%20where%20prevalence%20is%20high%20and%20every%20metric%20looks%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22excellent.%20Deploy%20it%20to%20general%20screening%20and%20it%20drowns%20in%20false%20positives%20while%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22every%20offline%20test%20still%20passes%2C%20because%20your%20test%20set%20has%20the%20clinic's%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prevalence%20baked%20into%20it.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Positive%20predictive%20value%20is%20**%7Btrust%3A.0f%7D%20per%20cent**.%20Compare%20the%20two%20ends%2C%201%20in%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22100%20and%2020%20in%20100.%20The%20test%20is%20identical%20at%20both.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22info%22%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Telling%20them%20apart%20from%20monitoring%0A%0A%20%20%20%20Nobody%20tells%20you%20which%20shift%20you%20have.%20You%20get%20a%20degrading%20model%20and%20whatever%20telemetry%0A%20%20%20%20you%20set%20up%20in%20advance.%20Three%20measurements%20separate%20the%20three%20cases.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Ctable%20class%3D%22w5-table%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EMeasurement%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3ECovariate%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EConcept%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cth%3EPrior%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3EInput%20distribution%20against%20training%2C%20per%20feature%3A%20a%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ccode%3EKS%20test%3C%2Fcode%3E%20or%20population%20stability%20index%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22no%22%3Eshifted%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22yes%22%3Eunchanged%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22yes%22%3Eunchanged%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3EAccuracy%20on%20a%20labelled%20slice%20the%20model%20has%20always%20had%20plenty%20of%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22yes%22%3Eholds%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22no%22%3Edrops%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22yes%22%3Eholds%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%3EObserved%20positive%20rate%20against%20the%20training%20base%20rate%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22yes%22%3Eroughly%20stable%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22no%22%3Emoves%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22no%22%3Emoves%3C%2Ftd%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20second%20row%20does%20most%20of%20the%20work%2C%20and%20it%20is%20the%20one%20teams%20most%20often%20cannot%20run%2C%0A%20%20%20%20because%20it%20needs%20**labels%20on%20recent%20data**.%20That%20is%20usually%20the%20real%20constraint%3A%20input%0A%20%20%20%20drift%20is%20free%20to%20measure%2C%20and%20accuracy%20drift%20needs%20somebody%20to%20go%20and%20find%20out%20what%0A%20%20%20%20actually%20happened.%20Budget%20for%20that%20before%20you%20need%20it%20rather%20than%20after.%0A%0A%20%20%20%20Three%20teams%20describe%20what%20they%20see%20without%20naming%20the%20cause.%20Classify%20each.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20s1%2C%20s1_render%2C%20s1_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**1.**%20%5C%22We%20price%20residential%20property.%20Training%20was%20mostly%20detached%20suburban%20houses.%20%22%0A%20%20%20%20%20%20%20%20%22This%20quarter%20we%20are%20mostly%20being%20asked%20about%20one-bed%20city%20flats%2C%20which%20were%20about%202%20%22%0A%20%20%20%20%20%20%20%20%22per%20cent%20of%20training.%20We%20re-scored%20last%20year's%20suburban%20sales%3A%20errors%20unchanged.%5C%22%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Covariate%20shift%22%3A%20%22cov%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Concept%20shift%22%3A%20%22con%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Prior%20probability%20shift%22%3A%20%22pri%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22cov%22%2C%0A%20%20%20%20%20%20%20%20%22The%20input%20distribution%20moved%2C%20and%20re-scoring%20the%20suburban%20sales%20demonstrates%20that%20%22%0A%20%20%20%20%20%20%20%20%22P(Y%7CX)%20is%20intact.%20The%20model%20is%20extrapolating%20into%20a%20region%20where%20it%20has%20almost%20no%20%22%0A%20%20%20%20%20%20%20%20%22training%20support.%20Importance%20weighting%20helps%20a%20little%2C%20but%20you%20cannot%20upweight%20your%20%22%0A%20%20%20%20%20%20%20%20%22way%20out%20of%202%20per%20cent%20coverage%3A%20no%20weight%20applied%20to%20almost%20no%20examples%20is%20still%20%22%0A%20%20%20%20%20%20%20%20%22almost%20nothing.%20What%20this%20needs%20is%20flats%20in%20the%20training%20set.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22s1%22%2C%0A%20%20%20%20)%0A%20%20%20%20s1%0A%20%20%20%20return%20s1%2C%20s1_render%2C%20s1_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(s1%2C%20s1_render)%3A%0A%20%20%20%20s1_render(s1.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20s2%2C%20s2_render%2C%20s2_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**2.**%20%5C%22Loan%20default%20model.%20The%20application%20distribution%20is%20statistically%20%22%0A%20%20%20%20%20%20%20%20%22indistinguishable%20from%20last%20year%20on%20every%20feature%20we%20monitor.%20But%20applicants%20we%20score%20%22%0A%20%20%20%20%20%20%20%20%22as%20low%20risk%20are%20defaulting%20at%20three%20times%20the%20rate%20they%20used%20to.%5C%22%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Covariate%20shift%22%3A%20%22cov%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Concept%20shift%22%3A%20%22con%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Prior%20probability%20shift%22%3A%20%22pri%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22con%22%2C%0A%20%20%20%20%20%20%20%20%22Inputs%20unchanged%20and%20the%20model%20now%20wrong%20about%20rows%20it%20used%20to%20get%20right%2C%20so%20P(Y%7CX)%20%22%0A%20%20%20%20%20%20%20%20%22itself%20moved.%20Note%20what%20that%20does%20to%20input-drift%20monitoring%3A%20it%20would%20have%20reported%20%22%0A%20%20%20%20%20%20%20%20%22green%20the%20whole%20time.%20Reweighting%20historical%20data%20cannot%20recover%20the%20new%20relationship%20%22%0A%20%20%20%20%20%20%20%20%22because%20the%20new%20relationship%20is%20not%20in%20it.%20This%20needs%20fresh%20labels%20and%20retraining%2C%20%22%0A%20%20%20%20%20%20%20%20%22and%20until%20the%20loans%20mature%20you%20do%20not%20have%20them.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22s2%22%2C%0A%20%20%20%20)%0A%20%20%20%20s2%0A%20%20%20%20return%20s2%2C%20s2_render%2C%20s2_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(s2%2C%20s2_render)%3A%0A%20%20%20%20s2_render(s2.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20s3%2C%20s3_render%2C%20s3_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**3.**%20%5C%22Our%20screening%20model%20was%20trained%20on%20general-population%20data%20with%20about%201%20per%20%22%0A%20%20%20%20%20%20%20%20%22cent%20prevalence.%20It%20now%20runs%20in%20a%20referral%20clinic.%20Within%20each%20class%20the%20feature%20%22%0A%20%20%20%20%20%20%20%20%22distributions%20match%20training%2C%20and%20the%20likelihood%20of%20disease%20given%20a%20symptom%20profile%20is%20%22%0A%20%20%20%20%20%20%20%20%22what%20it%20was.%20Roughly%2020%20per%20cent%20of%20arrivals%20have%20the%20condition.%5C%22%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Covariate%20shift%22%3A%20%22cov%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Concept%20shift%22%3A%20%22con%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Prior%20probability%20shift%22%3A%20%22pri%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22pri%22%2C%0A%20%20%20%20%20%20%20%20%22P(X%7CY)%20is%20stated%20to%20be%20unchanged%20and%20only%20P(Y)%20moved%2C%20which%20is%20prior%20shift%20by%20%22%0A%20%20%20%20%20%20%20%20%22definition.%20It%20is%20also%20the%20cheapest%20to%20fix%3A%20with%20an%20estimate%20of%20the%20new%20prevalence%20%22%0A%20%20%20%20%20%20%20%20%22you%20can%20move%20the%20decision%20threshold%20or%20rescale%20the%20predicted%20probabilities%2C%20without%20%22%0A%20%20%20%20%20%20%20%20%22retraining%20anything.%20EM-based%20prior%20estimation%20will%20even%20recover%20the%20new%20base%20rate%20%22%0A%20%20%20%20%20%20%20%20%22from%20unlabelled%20data.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22s3%22%2C%0A%20%20%20%20)%0A%20%20%20%20s3%0A%20%20%20%20return%20s3%2C%20s3_render%2C%20s3_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(s3%2C%20s3_render)%3A%0A%20%20%20%20s3_render(s3.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20What%20each%20one%20needs%0A%0A%20%20%20%20%7C%20Shift%20%7C%20Remedy%20%7C%20Why%20it%20works%2C%20and%20where%20it%20stops%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20Covariate%20%7C%20Importance%20weighting%20by%20the%20density%20ratio%2C%20plus%20targeted%20collection%20in%20the%20new%20region%20%7C%20P(Y%5C%7CX)%20is%20intact%2C%20so%20correctly%20reweighted%20old%20data%20is%20still%20informative.%20It%20fails%20where%20training%20support%20is%20near%20zero.%20%7C%0A%20%20%20%20%7C%20Concept%20%7C%20New%20labelled%20data%20and%20retraining%2C%20or%20online%20adaptation%20%7C%20The%20mapping%20changed.%20Reweighting%20old%20data%20reweights%20a%20relationship%20that%20no%20longer%20holds.%20There%20is%20no%20cheap%20version.%20%7C%0A%20%20%20%20%7C%20Prior%20%7C%20Estimate%20the%20new%20base%20rate%2C%20then%20recalibrate%20or%20move%20the%20threshold%20%7C%20P(X%5C%7CY)%20is%20unchanged%2C%20so%20the%20classes%20separate%20exactly%20as%20before.%20Only%20the%20optimal%20position%20of%20the%20boundary%20moved.%20%7C%0A%0A%20%20%20%20For%20all%20three%2C%20you%20only%20get%20to%20choose%20a%20remedy%20if%20you%20noticed.%20Input%20drift%20monitoring%20is%0A%20%20%20%20cheap%20and%20catches%20covariate%20shift%20early.%20Accuracy%20on%20a%20labelled%20slice%20is%20expensive%20and%20is%0A%20%20%20%20the%20only%20thing%20that%20catches%20concept%20shift%20at%20all.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%207%3A%20Your%20decision%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20situation%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22The%20delivery-time%20estimator%20has%20been%20live%20eight%20months%20and%20it%20is%20drifting.%20It%0A%20%20%20%20%20%20%20%20%20%20used%20to%20be%20within%20ten%20minutes%3B%20it%20is%20now%20out%20by%20half%20an%20hour%20and%20support%20is%20getting%0A%20%20%20%20%20%20%20%20%20%20complaints.%20No%20errors%2C%20no%20deploys%20since%20launch%2C%20no%20schema%20changes.%20We%20have%20a%20month%0A%20%20%20%20%20%20%20%20%20%20of%20recent%20deliveries%20logged%2C%20but%20nobody%20has%20joined%20them%20to%20actual%20arrival%20times%0A%20%20%20%20%20%20%20%20%20%20yet.%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_saved%20%3D%20saved.get(%22decision%22)%20or%20%7B%7D%0A%20%20%20%20_choices%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Retrain%20on%20the%20last%20month.%20It%20is%20the%20freshest%20data%20we%20have%22%3A%20%22retrain%22%2C%0A%20%20%20%20%20%20%20%20%22Compare%20the%20recent%20input%20distribution%20against%20training%2C%20and%20re-score%20the%20old%20routes%20we%20do%20have%20labels%20for%22%3A%20%22diagnose%22%2C%0A%20%20%20%20%20%20%20%20%22Add%20features.%20The%20model%20is%20clearly%20underspecified%20for%20the%20job%20now%22%3A%20%22features%22%2C%0A%20%20%20%20%20%20%20%20%22Widen%20the%20output%20to%20a%20time%20window%20so%20we%20stop%20being%20measurably%20wrong%22%3A%20%22widen%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20decision_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%7Bchoice%7D%0A%0A%20%20%20%20%20%20%20%20%7Bwhy%7D%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%3Dmo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D_choices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_choices%2C%20_saved.get(%22choice%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**What%20do%20you%20do%20first%3F**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20why%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22why%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22What%20you%20would%20measure%2C%20and%20what%20you%20would%20conclude%20from%20each%20possible%20result.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Why%3F**%20This%20one%20is%20not%20marked%2C%20and%20you%20can%20change%20it%20as%20often%20as%20you%20like.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Submit%20my%20decision%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20one%20of%20the%20four.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20v%20or%20v.get(%22choice%22)%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20your%20reasoning%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20(v.get(%22why%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20decision_form%0A%20%20%20%20return%20(decision_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20decision_form.value%20or%20saved.get(%22decision%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Pick%20an%20answer%2C%20say%20why%2C%20then%20press%20**Submit%20my%20decision**.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20decision_choice%20%3D%20_answer%5B%22choice%22%5D%0A%20%20%20%20decision_why%20%3D%20_answer%5B%22why%22%5D.strip()%0A%20%20%20%20return%20decision_choice%2C%20decision_why%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20mo)%3A%0A%20%20%20%20_notes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22retrain%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20may%20well%20end%20up%20being%20the%20answer%2C%20but%20read%20the%20constraint%20again%3A%20the%20recent%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22deliveries%20have%20no%20labels%20yet.%20Supervised%20retraining%20needs%20actual%20arrival%20times%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22so%20this%20is%20weeks%20away%20and%20somebody%20has%20to%20build%20that%20join%20first.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22There%20is%20also%20a%20failure%20mode%20worth%20naming.%20If%20the%20cause%20is%20that%20you%20have%20expanded%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22into%20dense%20urban%20routes%2C%20retraining%20on%20a%20month%20of%20mostly-urban%20data%20gives%20you%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22model%20that%20is%20excellent%20there%20and%20worse%20everywhere%20else.%20You%20would%20have%20swapped%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22one%20coverage%20gap%20for%20another%20and%20called%20it%20a%20fix.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22diagnose%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20is%20rows%20one%20and%20two%20of%20the%20monitoring%20table%2C%20and%20between%20them%20they%20identify%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20shift%20before%20you%20commit%20anybody's%20month.%20The%20input%20comparison%20is%20free%20and%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22can%20run%20it%20this%20afternoon.%20The%20old-routes%20check%20needs%20labels%2C%20but%20you%20have%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22historical%20labels%20for%20those%20already%2C%20so%20it%20is%20a%20query%20rather%20than%20a%20project.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Two%20outcomes%2C%20two%20different%20pieces%20of%20work.%20New%20routes%20look%20unfamiliar%20and%20old%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22routes%20are%20still%20accurate%3A%20covariate%20shift%2C%20and%20you%20need%20coverage.%20Old%20routes%20have%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22degraded%20too%3A%20something%20real%20changed.%20A%20depot%20moved%2C%20a%20courier%20contract%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20traffic%20model.%20Only%20fresh%20labels%20will%20fix%20that.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22features%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20model%20was%20accurate%20for%20months%2C%20so%20underspecification%20is%20a%20hypothesis%20with%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22evidence%20against%20it.%20Something%20external%20changed.%20Adding%20features%20before%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22identifying%20what%20will%20usually%20work%2C%20in%20the%20worst%20way%3A%20you%20will%20find%20a%20feature%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22that%20explains%20recent%20data%2C%20the%20metrics%20will%20improve%2C%20and%20you%20will%20never%20learn%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22what%20happened.%20Next%20time%20you%20will%20be%20exactly%20where%20you%20are%20now%2C%20with%20one%20more%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22feature%20to%20maintain.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22widen%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Legitimate%20as%20a%20holding%20action%2C%20and%20sometimes%20right%20for%20the%20customer%3A%20a%20window%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22you%20can%20keep%20beats%20a%20point%20estimate%20you%20cannot.%20But%20it%20is%20a%20mitigation%2C%20not%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22diagnosis.%20The%20underlying%20error%20keeps%20growing%2C%20the%20window%20keeps%20widening%2C%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22failure%20is%20now%20invisible%20to%20your%20own%20metrics%20because%20you%20redefined%20correct.%20Do%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22if%20you%20must%2C%20with%20a%20date%20on%20it%20and%20a%20diagnosis%20running%20underneath.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20On%20your%20answer%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(_notes%5Bdecision_choice%5D)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22All%20four%20are%20defensible%20and%20you%20are%20not%20marked%20on%20which%20you%20chose.%20The%20point%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22that%20%5C%22the%20model%20got%20worse%5C%22%20names%20a%20symptom%2C%20and%20the%20three%20shifts%20need%20three%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22different%20months%20of%20work.%20Change%20your%20answer%20above%20if%20the%20note%20moved%20you.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_%20%3D%20decision_choice%0A%20%20%20%20_saved%20%3D%20saved.get(%22reflection%22)%20or%20%7B%7D%0A%20%20%20%20reflect_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%7Btakeaway%7D%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22takeaway%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22I%20would%20measure%20...%20weekly%2C%20and%20the%20reading%20that%20would%20make%20me%20act%20is%20...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Last%20one.**%20Name%20one%20quantity%20you%20would%20monitor%20weekly%20on%20a%20live%20model%20to%20catch%20shift%20early%2C%20and%20the%20reading%20that%20would%20make%20you%20act%20on%20it.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Finish%20the%20lab%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20if%20v%20and%20(v.get(%22takeaway%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20a%20sentence%20or%20two%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20reflect_form%0A%20%20%20%20return%20(reflect_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20reflect_form%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20reflect_form.value%20or%20saved.get(%22reflection%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Answer%20the%20last%20question%20to%20finish%20the%20lab.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20takeaway_text%20%3D%20_answer%5B%22takeaway%22%5D.strip()%0A%20%20%20%20done%20%3D%20True%0A%20%20%20%20return%20done%2C%20takeaway_text%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20decision_form%2C%0A%20%20%20%20gap%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20m1%2C%0A%20%20%20%20m2%2C%0A%20%20%20%20m3%2C%0A%20%20%20%20odd%2C%0A%20%20%20%20prevalence%2C%0A%20%20%20%20q1%2C%0A%20%20%20%20q2%2C%0A%20%20%20%20q3%2C%0A%20%20%20%20q4%2C%0A%20%20%20%20s1%2C%0A%20%20%20%20s2%2C%0A%20%20%20%20s3%2C%0A)%3A%0A%20%20%20%20%23%20Marked%20answers%20go%20through%20record_once%2C%20so%20the%20first%20answer%20is%20the%20one%20that%0A%20%20%20%20%23%20counts.%20Sliders%20and%20the%20written%20decision%20can%20change%20as%20often%20as%20the%20student%20likes.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record_once(%0A%20%20%20%20%20%20%20%20%20%20%20%20q1%3Dq1.value%2C%20q2%3Dq2.value%2C%20q3%3Dq3.value%2C%20q4%3Dq4.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20m1%3Dm1.value%2C%20m2%3Dm2.value%2C%20m3%3Dm3.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20s1%3Ds1.value%2C%20s2%3Ds2.value%2C%20s3%3Ds3.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20lab_sync.record(odd%3Dodd.value%2C%20gap%3Dgap.value%2C%20prevalence%3Dprevalence.value)%0A%20%20%20%20%20%20%20%20if%20decision_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(decision%3Ddecision_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(lab_sync%2C%20reflect_form)%3A%0A%20%20%20%20%23%20This%20form%20only%20exists%20once%20the%20decision%20is%20in%2C%20so%20it%20is%20recorded%20here.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%20and%20reflect_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record(reflection%3Dreflect_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20m1%2C%0A%20%20%20%20m1_sum%2C%0A%20%20%20%20m2%2C%0A%20%20%20%20m2_sum%2C%0A%20%20%20%20m3%2C%0A%20%20%20%20m3_sum%2C%0A%20%20%20%20q1%2C%0A%20%20%20%20q1_sum%2C%0A%20%20%20%20q2%2C%0A%20%20%20%20q2_sum%2C%0A%20%20%20%20q3%2C%0A%20%20%20%20q3_sum%2C%0A%20%20%20%20q4%2C%0A%20%20%20%20q4_sum%2C%0A%20%20%20%20s1%2C%0A%20%20%20%20s1_sum%2C%0A%20%20%20%20s2%2C%0A%20%20%20%20s2_sum%2C%0A%20%20%20%20s3%2C%0A%20%20%20%20s3_sum%2C%0A)%3A%0A%20%20%20%20%23%20One%20place%20that%20knows%20every%20marked%20answer%2C%20so%20the%20report%2C%20the%20score%20and%20the%0A%20%20%20%20%23%20dashboard%20cannot%20disagree.%0A%20%20%20%20CHECKS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Outliers%3A%20first%20move%22%2C%20q1_sum(q1.value))%2C%0A%20%20%20%20%20%20%20%20(%22Skewed%20data%3A%20which%20method%22%2C%20q2_sum(q2.value))%2C%0A%20%20%20%20%20%20%20%20(%22Outlier%20vs%20anomaly%20detection%22%2C%20q3_sum(q3.value))%2C%0A%20%20%20%20%20%20%20%20(%22Cost%20of%20complete-case%20deletion%22%2C%20q4_sum(q4.value))%2C%0A%20%20%20%20%20%20%20%20(%22Missingness%3A%20the%20lab%20test%22%2C%20m1_sum(m1.value))%2C%0A%20%20%20%20%20%20%20%20(%22Missingness%3A%20the%20destroyed%20post%22%2C%20m2_sum(m2.value))%2C%0A%20%20%20%20%20%20%20%20(%22Missingness%3A%20the%20star%20ratings%22%2C%20m3_sum(m3.value))%2C%0A%20%20%20%20%20%20%20%20(%22Shift%3A%20property%20pricing%22%2C%20s1_sum(s1.value))%2C%0A%20%20%20%20%20%20%20%20(%22Shift%3A%20loan%20defaults%22%2C%20s2_sum(s2.value))%2C%0A%20%20%20%20%20%20%20%20(%22Shift%3A%20the%20referral%20clinic%22%2C%20s3_sum(s3.value))%2C%0A%20%20%20%20%5D%0A%20%20%20%20checks_right%20%3D%20sum(1%20for%20_n%2C%20(_t%2C%20_ok)%20in%20CHECKS%20if%20_ok)%0A%20%20%20%20checks_score%20%3D%20f%22%7Bchecks_right%7D%2F%7Blen(CHECKS)%7D%22%0A%20%20%20%20return%20CHECKS%2C%20checks_right%2C%20checks_score%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20CHECKS%2C%0A%20%20%20%20LAB_CSS%2C%0A%20%20%20%20checks_score%2C%0A%20%20%20%20decision_choice%2C%0A%20%20%20%20decision_why%2C%0A%20%20%20%20done%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20odd%2C%0A%20%20%20%20prevalence%2C%0A%20%20%20%20takeaway_text%2C%0A%20%20%20%20trust%2C%0A)%3A%0A%20%20%20%20_%20%3D%20(LAB_CSS%2C%20done)%0A%20%20%20%20_where%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22retrain%22%3A%20%22Retrain%20on%20the%20last%20month%22%2C%0A%20%20%20%20%20%20%20%20%22diagnose%22%3A%20%22Compare%20input%20distributions%20and%20re-score%20the%20old%20routes%22%2C%0A%20%20%20%20%20%20%20%20%22features%22%3A%20%22Add%20features%22%2C%0A%20%20%20%20%20%20%20%20%22widen%22%3A%20%22Widen%20the%20output%20to%20a%20time%20window%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20_mark(entry)%3A%0A%20%20%20%20%20%20%20%20_text%2C%20_ok%20%3D%20entry%0A%20%20%20%20%20%20%20%20if%20_ok%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20'%3Cspan%20class%3D%22cross%22%3Enot%20answered%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20_icon%20%3D%20'%3Cspan%20class%3D%22tick%22%3Eright%3C%2Fspan%3E'%20if%20_ok%20else%20'%3Cspan%20class%3D%22cross%22%3Ewrong%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20return%20f%22%7B_text%7D%20%26middot%3B%20%7B_icon%7D%22%0A%0A%20%20%20%20_rows%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f'%3Cdiv%20class%3D%22row%22%3E%3Cspan%20class%3D%22k%22%3E%7B_name%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22v%22%3E%7B_mark(_entry)%7D%3C%2Fspan%3E%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_entry%20in%20CHECKS%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Your%20Week%205%20report%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w5-report%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EMarked%20checks%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%3Cspan%20class%3D%22w5-score%22%3E%7Bchecks_score%7D%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EOutlier%20value%20explored%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bodd.value%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EPrevalence%20explored%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bprevalence.value%7D%20in%20100%2C%20giving%20a%20positive%20predictive%20value%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20of%20%7Btrust%3A.0f%7D%20per%20cent%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EDelivery%20model%2C%20first%20move%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_where.get(decision_choice%2C%20decision_choice)%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EReasoning%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Bdecision_why%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhat%20you%20would%20monitor%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Btakeaway_text%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_rows%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20get_given%2C%20locked%2C%20mo%2C%20pick%2C%20saved%2C%20set_given)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20QUIZ%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22A%20temperature%20sensor%20normally%20reporting%2020%20to%2030%20degrees%20starts%20reporting%20400.%20What%20%22%0A%20%20%20%20%20%20%20%20%20%22should%20happen%20first%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Drop%20the%20row%20and%20carry%20on%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Check%20whether%20the%20sensor%20has%20failed%2C%20because%20if%20it%20has%2C%20every%20later%20reading%20from%20it%20is%20suspect%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Keep%20it%3B%20extreme%20values%20carry%20the%20most%20information%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22b%22)%2C%0A%20%20%20%20%20%20%20%20(%22High%20earners%20are%20the%20ones%20leaving%20income%20blank%2C%20and%20you%20impute%20the%20observed%20mean.%20%22%0A%20%20%20%20%20%20%20%20%20%22What%20have%20you%20introduced%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Random%20noise%2C%20which%20averages%20out%20across%20the%20dataset%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Bias%20in%20a%20consistent%20direction%2C%20understating%20income%20for%20every%20imputed%20row%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Nothing%20material%3B%20the%20mean%20is%20an%20unbiased%20estimator%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22b%22)%2C%0A%20%20%20%20%20%20%20%20(%22Input%20distributions%20match%20training%20on%20every%20monitored%20feature%2C%20and%20the%20model%20is%20now%20%22%0A%20%20%20%20%20%20%20%20%20%22wrong%20about%20cases%20it%20used%20to%20get%20right.%20Which%20shift%2C%20and%20what%20fixes%20it%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Prior%20shift%3B%20recalibrate%20using%20the%20new%20base%20rate%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Covariate%20shift%3B%20apply%20importance%20weighting%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Concept%20shift%3B%20nothing%20short%20of%20new%20labels%20and%20retraining%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22c%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_saved%20%3D%20saved.get(%22quiz%22)%20or%20%7B%7D%0A%20%20%20%20_given%20%3D%20get_given()%0A%0A%20%20%20%20def%20_lock(n)%3A%0A%20%20%20%20%20%20%20%20def%20handler(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_k%20%3D%20%22quiz%22%20%2B%20str(n)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20not%20None%20and%20get_given().get(_k%2C%20_saved.get(str(n)))%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20set_given(lambda%20d%3A%20dict(d%2C%20**%7B_k%3A%20value%7D))%0A%20%20%20%20%20%20%20%20return%20handler%0A%0A%20%20%20%20quiz%20%3D%20mo.ui.array(%5B%0A%20%20%20%20%20%20%20%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20options%3D_options%2C%20label%3Df%22**%7B_n%7D.**%20%7B_question%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_options%2C%20_given.get(%22quiz%22%20%2B%20str(_n)%2C%20_saved.get(str(_n))))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%20or%20_given.get(%22quiz%22%20%2B%20str(_n)%2C%20_saved.get(str(_n)))%20is%20not%20None%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on_change%3D_lock(_n)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20for%20_n%2C%20(_question%2C%20_options%2C%20_right)%20in%20enumerate(QUIZ%2C%201)%0A%20%20%20%20%5D)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Quiz%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22Three%20questions%2C%20one%20answer%20each%2C%20marked%20when%20you%20submit.%22)%2C%0A%20%20%20%20%20%20%20%20*%5Bquiz%5B_i%5D%20for%20_i%20in%20range(len(QUIZ))%5D%2C%0A%20%20%20%20%5D%2C%20gap%3D1)%0A%20%20%20%20return%20QUIZ%2C%20quiz%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(CHECKS%2C%20QUIZ%2C%20checks_right%2C%20lab_sync%2C%20quiz)%3A%0A%20%20%20%20_quiz_right%20%3D%20sum(v%20%3D%3D%20q%5B2%5D%20for%20q%2C%20v%20in%20zip(QUIZ%2C%20quiz.value))%0A%20%20%20%20quiz_score%20%3D%20f%22%7B_quiz_right%7D%2F%7Blen(QUIZ)%7D%22%0A%20%20%20%20auto_score%20%3D%20f%22%7Bchecks_right%20%2B%20_quiz_right%7D%2F%7Blen(CHECKS)%20%2B%20len(QUIZ)%7D%22%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record_once(**%7Bstr(n)%3A%20v%20for%20n%2C%20v%20in%20enumerate(quiz.value%2C%201)%7D)%0A%20%20%20%20%20%20%20%20lab_sync.record(quiz%3D%7Bstr(n)%3A%20v%20for%20n%2C%20v%20in%20enumerate(quiz.value%2C%201)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20quiz_score%3Dquiz_score%2C%20auto_score%3Dauto_score)%0A%20%20%20%20return%20auto_score%2C%20quiz_score%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20locked%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20%23%20Handing%20in%20cannot%20be%20undone%2C%20so%20it%20takes%20a%20tick%20as%20well%20as%20a%20press.%0A%20%20%20%20confirm%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20label%3D%22I%20have%20read%20my%20answers%20back%20and%20I%20know%20they%20cannot%20be%20changed%20after%20this%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(confirm%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(confirm%2C%20done%2C%20lab_sync%2C%20locked%2C%20mo%2C%20quiz)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20_unanswered%20%3D%20sum(v%20is%20None%20for%20v%20in%20quiz.value)%0A%20%20%20%20submit_button%20%3D%20mo.ui.run_button(%0A%20%20%20%20%20%20%20%20label%3D%22Submit%20my%20work%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlab_sync%20is%20None%20or%20locked%20or%20_unanswered%20%3E%200%0A%20%20%20%20%20%20%20%20or%20not%20confirm.value%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%22Send%20your%20answers%20to%20your%20instructor%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Submit%20your%20work%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Everything%20has%20been%20saving%20as%20you%20went.%20Handing%20in%20is%20the%20last%20step%20and%20it%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22final%3A%20once%20the%20lab%20is%20in%2C%20nothing%20on%20this%20page%20can%20be%20changed%2C%20the%20written%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20included.%20Read%20back%20through%20them%20first.%20If%20you%20hand%20in%20by%20mistake%2C%20ask%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22your%20instructor%20to%20reopen%20the%20lab%20for%20you.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(f%22%20**Answer%20the%20%7B_unanswered%7D%20quiz%20question%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B's'%20if%20_unanswered%20%3E%201%20else%20''%7D%20above%20first.**%22%20if%20_unanswered%20else%20%22%22)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20confirm%2C%0A%20%20%20%20%20%20%20%20submit_button%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(submit_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20auto_score%2C%0A%20%20%20%20lab_status%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20locked%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20quiz_score%2C%0A%20%20%20%20reflect_form%2C%0A%20%20%20%20saved%2C%0A%20%20%20%20submit_button%2C%0A)%3A%0A%20%20%20%20%23%20Runs%20when%20the%20button%20is%20pressed%2C%20and%20otherwise%20just%20says%20where%20things%20stand.%0A%20%20%20%20if%20lab_sync%20is%20None%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20copy%20of%20the%20lab%20is%20not%20connected%20to%20the%20course%20site%2C%20so%20it%20cannot%20be%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted%20from%20here.%22%2C%20%22neutral%22)%0A%20%20%20%20elif%20submit_button.value%3A%0A%20%20%20%20%20%20%20%20_reply%20%3D%20await%20lab_sync.submit(%0A%20%20%20%20%20%20%20%20%20%20%20%20reflection%3Dreflect_form.value%20or%20saved.get(%22reflection%22)%2C%20finished%3DTrue)%0A%20%20%20%20%20%20%20%20if%20_reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(f%22**Submitted.**%20Your%20instructor%20can%20see%20your%20work.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Quiz%3A%20**%7Bquiz_score%7D**.%20Marked%20answers%20overall%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bauto_score%7D**.%20That%20is%20the%20lab%20in%2C%20so%20nothing%20on%20this%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22page%20is%20saved%20from%20here%20on.%22%2C%20%22success%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Already%20handed%20in.**%20This%20lab%20went%20in%20earlier%2C%20so%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20can%20no%20longer%20be%20changed.%22%2C%20%22warn%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22locked%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted.**%20Your%20instructor%20has%20locked%20this%20lab.%22%2C%20%22danger%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Not%20submitted%3A**%20%7B_reply.get('error'%2C%20'something%20went%20wrong')%7D.%20Your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20are%20still%20saved.%20Press%20**Submit%20my%20work**%20to%20try%20again.%22%2C%20%22danger%22)%0A%20%20%20%20elif%20lab_sync.last_submitted%20or%20lab_status.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20_when%20%3D%20str(lab_sync.last_submitted%20or%20lab_status.get(%22submittedAt%22)%20or%20%22%22)%5B%3A10%5D%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Submitted%20on%20%7B_when%7D.**%20Your%20answers%20are%20saved%20exactly%20as%20they%20were%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cannot%20be%20changed%20now.%20If%20you%20need%20another%20go%20at%20it%2C%20ask%20your%20instructor%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22reopen%20the%20lab.%22%2C%20%22success%22)%0A%20%20%20%20elif%20locked%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22Your%20instructor%20has%20locked%20this%20lab%2C%20so%20it%20can%20no%20longer%20be%20submitted.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted%20yet.**%20Press%20**Submit%20my%20work**%20when%20you%20are%20done.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A