Week 4: Right Nearly Every Time, and Useless

Week 4: Right Nearly Every Time, and Useless - CSC/EE 8001

import%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Week%204%20-%20Right%20Nearly%20Every%20Time%2C%20and%20Useless%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20json%0A%0A%20%20%20%20return%20json%2C%20mo%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(json%2C%20mo)%3A%0A%20%20%20%20%23%20Progress%20saving.%20On%20the%20course%20site%2C%20labs%2Fgate%2Fgate.js%20signs%20the%20student%20in%0A%20%20%20%20%23%20and%20tags%20this%20tab%20with%20an%20%22rl%22%20query%20parameter.%20The%20notebook%20runs%20in%20a%20web%0A%20%20%20%20%23%20worker%2C%20so%20it%20talks%20to%20that%20script%20over%20a%20BroadcastChannel%20named%20after%20the%0A%20%20%20%20%23%20tag%2C%20and%20the%20script%20makes%20the%20API%20calls.%20Opened%20any%20other%20way%20(marimo%20edit%2C%0A%20%20%20%20%23%20a%20plain%20export)%20there%20is%20no%20tag%20and%20nothing%20is%20saved.%0A%20%20%20%20import%20sys%20as%20_sys%0A%0A%20%20%20%20class%20LabSync%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20tab)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20js%20import%20BroadcastChannel%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.ffi%20import%20create_proxy%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel%20%3D%20BroadcastChannel.new(%22radiant-lab-%22%20%2B%20tab)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._listener%20%3D%20create_proxy(self._receive)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.onmessage%20%3D%20self._listener%0A%0A%20%20%20%20%20%20%20%20def%20_receive(self%2C%20event)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20json.loads(event.data)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20(TypeError%2C%20ValueError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%0A%20%20%20%20%20%20%20%20%20%20%20%20waiting%20%3D%20self._waiting.pop(message.get(%22id%22)%2C%20None)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20waiting%20is%20not%20None%20and%20not%20waiting.done()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20waiting.set_result(message)%0A%0A%20%20%20%20%20%20%20%20def%20_send(self%2C%20op%2C%20message_id%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20%7B%22id%22%3A%20message_id%2C%20%22op%22%3A%20op%2C%20%22from%22%3A%20%22notebook%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20message.update(fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.postMessage(json.dumps(message))%0A%0A%20%20%20%20%20%20%20%20async%20def%20_request(self%2C%20op%2C%20timeout%3DNone%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20asyncio%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20message_id%20%3D%20uuid.uuid4().hex%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20asyncio.get_event_loop().create_future()%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%5Bmessage_id%5D%20%3D%20reply%0A%20%20%20%20%20%20%20%20%20%20%20%20self._send(op%2C%20message_id%2C%20**fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20await%20(reply%20if%20timeout%20is%20None%20else%20asyncio.wait_for(reply%2C%20timeout))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20asyncio.TimeoutError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%22ok%22%3A%20False%2C%20%22error%22%3A%20%22the%20page%20did%20not%20answer%20in%20time%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._waiting.pop(message_id%2C%20None)%0A%0A%20%20%20%20%20%20%20%20async%20def%20load(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Wait%20for%20sign-in%2C%20then%20return%20what%20this%20student%20saved%20before.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22load%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20dict(reply.get(%22state%22)%20or%20%7B%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20%20%20%20%20def%20record(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Remember%20these%20answers%3B%20the%20page%20saves%20them%20a%20moment%20later.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20changed%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20k%20not%20in%20self.state%20or%20self.state%5Bk%5D%20!%3D%20v%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20changed%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(changed)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._send(%22save%22%2C%20uuid.uuid4().hex%2C%20state%3Dself.state)%0A%0A%20%20%20%20%20%20%20%20async%20def%20submit(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Save%20everything%20now%20and%20mark%20the%20lab%20as%20submitted.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(answers)%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22submit%22%2C%20timeout%3D45%2C%20state%3Dself.state)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20reply.get(%22submittedAt%22)%20or%20%22today%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20def%20pick(options%2C%20value)%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20label%20a%20radio%20should%20show%20for%20a%20saved%20value%2C%20or%20None.%22%22%22%0A%20%20%20%20%20%20%20%20return%20next((label%20for%20label%2C%20v%20in%20options.items()%20if%20v%20%3D%3D%20value)%2C%20None)%0A%0A%20%20%20%20lab_sync%20%3D%20None%0A%20%20%20%20lab_status%20%3D%20%7B%7D%0A%20%20%20%20saved%20%3D%20%7B%7D%0A%20%20%20%20locked%20%3D%20False%0A%20%20%20%20_tab%20%3D%20mo.query_params().get(%22rl%22)%20if%20%22pyodide%22%20in%20_sys.modules%20else%20None%0A%20%20%20%20if%20_tab%3A%0A%20%20%20%20%20%20%20%20lab_sync%20%3D%20LabSync(_tab)%0A%20%20%20%20%20%20%20%20lab_status%20%3D%20await%20lab_sync.load()%0A%20%20%20%20%20%20%20%20saved%20%3D%20dict(lab_sync.state)%0A%20%20%20%20%20%20%20%20locked%20%3D%20bool(lab_status.get(%22locked%22))%0A%20%20%20%20return%20lab_status%2C%20lab_sync%2C%20locked%2C%20pick%2C%20saved%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20def%20ask(prompt%2C%20options%2C%20correct%2C%20because%2C%20key)%3A%0A%20%20%20%20%20%20%20%20%22%22%22A%20quick%20check.%20One%20answer%2C%20then%20the%20reason%20the%20right%20one%20is%20right.%0A%0A%20%20%20%20%20%20%20%20%60because%60%20explains%20the%20correct%20answer%20in%20plain%20words.%20Wrong%20answers%20are%0A%20%20%20%20%20%20%20%20not%20picked%20apart%20one%20by%20one%3B%20the%20student%20just%20gets%20the%20explanation.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20labels%20%3D%20%7Bvalue%3A%20label%20for%20label%2C%20value%20in%20options.items()%7D%0A%20%20%20%20%20%20%20%20BREAK%20%3D%20chr(10)%20%2B%20chr(10)%0A%0A%20%20%20%20%20%20%20%20radio%20%3D%20mo.ui.radio(options%3Doptions%2C%20label%3Dprompt%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(options%2C%20saved.get(key))%2C%20disabled%3Dlocked)%0A%0A%20%20%20%20%20%20%20%20def%20render(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22Pick%20an%20answer%20and%20I%20will%20tell%20you%20why.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22neutral%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ok%20%3D%20value%20%3D%3D%20correct%0A%20%20%20%20%20%20%20%20%20%20%20%20head%20%3D%20%22**That%20is%20it.**%20%22%20if%20ok%20else%20f%22**The%20answer%20is%3A**%20*%7Blabels%5Bcorrect%5D%7D*.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(head%20%2B%20BREAK%20%2B%20because)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20ok%20else%20%22warn%22)%0A%0A%20%20%20%20%20%20%20%20def%20summarise(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22not%20answered%22%2C%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20labels%5Bvalue%5D%2C%20value%20%3D%3D%20correct%0A%0A%20%20%20%20%20%20%20%20return%20radio%2C%20render%2C%20summarise%0A%0A%20%20%20%20return%20(ask%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20LAB_CSS%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20%20%20%20%20.w4-hero%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%206px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fffef8%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-eyebrow%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.08em%3B%20text-transform%3A%20uppercase%3B%20margin%3A%200%200%208px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-hero%20h1%20%7B%20margin%3A%200%200%208px%3B%20font-size%3A%201.75rem%3B%20color%3A%20%23111%3B%20line-height%3A%201.2%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-hero%20p.sub%20%7B%20margin%3A%200%3B%20color%3A%20%233a3a3a%3B%20font-size%3A%201.02rem%3B%20line-height%3A%201.65%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-chips%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%208px%3B%20margin-top%3A%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-chip%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fff3cc%3B%20color%3A%20%2362490a%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%20999px%3B%20padding%3A%204px%2011px%3B%20font-size%3A%20.72rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20letter-spacing%3A%20.04em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-chip-plain%20%7B%20border-color%3A%20%23e0e0e0%3B%20background%3A%20%23f4f4f4%3B%20color%3A%20%234a4a4a%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w4-split%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%201.6fr%201fr%3B%20gap%3A%2024px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20start%3B%20margin%3A%204px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.w4-split%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-split%20%3E%20.body%20p%20%7B%20margin%3A%200%200%2012px%3B%20color%3A%20%232f2f2f%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%201rem%3B%20line-height%3A%201.7%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-split%20%3E%20.body%20p%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w4-aside%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%204px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fcfcfc%3B%20padding%3A%2015px%2017px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-aside%20h4%20%7B%20margin%3A%200%200%2010px%3B%20padding-left%3A%2024px%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20letter-spacing%3A%20.06em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-aside%20ol%20%7B%20margin%3A%200%3B%20padding-left%3A%2024px%3B%20list-style%3A%20decimal%20outside%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-aside%20li%20%7B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.91rem%3B%20line-height%3A%201.5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-bottom%3A%209px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-aside%20li%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-aside%20li%3A%3Amarker%20%7B%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-aside%20.meta%20%7B%20border-top%3A%201px%20solid%20%23ececec%3B%20margin-top%3A%2013px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding-top%3A%2011px%3B%20padding-left%3A%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-aside%20.meta%20div%20%7B%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2010px%3B%20font-size%3A%20.85rem%3B%20margin-bottom%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-aside%20.meta%20div%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-aside%20.meta%20dt%20%7B%20color%3A%20%236f6f6f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-aside%20.meta%20dd%20%7B%20margin%3A%200%3B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20text-align%3A%20right%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w4-question%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fffdf5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2014px%2018px%3B%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-question%20.lbl%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-question%20p%20%7B%20margin%3A%206px%200%200%3B%20color%3A%20%23111%3B%20font-size%3A%201.06rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20font-style%3A%20italic%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w4-bars%20%7B%20display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%2010px%3B%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-bar%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20210px%201fr%20120px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20center%3B%20gap%3A%2012px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20640px)%20%7B%20.w4-bar%20%7B%20grid-template-columns%3A%20120px%201fr%2090px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-bar%20.t%20%7B%20color%3A%20%234a4a4a%3B%20font-size%3A%20.87rem%3B%20line-height%3A%201.3%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-bar%20.track%20%7B%20display%3A%20block%3B%20background%3A%20%23f4f4f4%3B%20border%3A%201px%20solid%20%23ececec%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%206px%3B%20height%3A%2026px%3B%20overflow%3A%20hidden%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-bar%20.fill%20%7B%20display%3A%20block%3B%20height%3A%20100%25%3B%20background%3A%20%23c9c9c9%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-bar.good%20.fill%20%7B%20background%3A%20%237cb47f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-bar.bad%20.fill%20%7B%20background%3A%20%23d98080%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-bar.gold%20.fill%20%7B%20background%3A%20%23f1b82d%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-bar%20.n%20%7B%20text-align%3A%20right%3B%20font-weight%3A%20800%3B%20font-size%3A%20.9rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-note%20%7B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.85rem%3B%20margin%3A%202px%200%200%3B%20line-height%3A%201.5%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w4-cards%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(4%2C%201fr)%3B%20gap%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.w4-cards%20%7B%20grid-template-columns%3A%201fr%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20520px)%20%7B%20.w4-cards%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-card%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23dcdcdc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%2013px%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-card.ok%20%7B%20border-top-color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-card.bad%20%7B%20border-top-color%3A%20%23c62828%3B%20background%3A%20%23fefafa%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-card%20h4%20%7B%20margin%3A%200%200%202px%3B%20font-size%3A%20.95rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-card%20.where%20%7B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.78rem%3B%20margin%3A%200%200%209px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-card%20.big%20%7B%20display%3A%20block%3B%20font-size%3A%201.5rem%3B%20font-weight%3A%20800%3B%20color%3A%20%23111%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.15%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-card%20.small%20%7B%20display%3A%20block%3B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.78rem%3B%20margin-top%3A%203px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.4%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w4-grid%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(auto-fit%2C%20minmax(140px%2C%201fr))%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2012px%3B%20margin%3A%2014px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-stat%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2010px%3B%20background%3A%20%23fff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2011px%2013px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-stat%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.72rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.05em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-stat%20.v%20%7B%20display%3A%20block%3B%20color%3A%20%23111%3B%20font-size%3A%201.45rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.2%3B%20margin-top%3A%202px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-stat%20.why%20%7B%20display%3A%20block%3B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.78rem%3B%20margin-top%3A%203px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-stat.green%20.v%20%7B%20color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-stat.red%20.v%20%7B%20color%3A%20%23c62828%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20table.w4-matrix%20%7B%20border-collapse%3A%20collapse%3B%20margin%3A%2014px%200%3B%20font-size%3A%20.92rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w4-matrix%20th%2C%20table.w4-matrix%20td%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%209px%2014px%3B%20text-align%3A%20center%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w4-matrix%20th%20%7B%20background%3A%20%23fffdf5%3B%20color%3A%20%236a5314%3B%20font-size%3A%20.78rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20letter-spacing%3A%20.04em%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w4-matrix%20td.hit%20%7B%20background%3A%20%23edf7ee%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20table.w4-matrix%20td.miss%20%7B%20background%3A%20%23fdecec%3B%20font-weight%3A%20800%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w4-report%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%204px%2020px%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2020px%20rgba(17%2C%2017%2C%2017%2C%20.06)%3B%20margin%3A%206px%200%204px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-report%20.row%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20190px%201fr%3B%20gap%3A%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2012px%200%3B%20border-bottom%3A%201px%20solid%20%23f2f2f2%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20baseline%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-report%20.row%3Alast-child%20%7B%20border-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20720px)%20%7B%20.w4-report%20.row%20%7B%20grid-template-columns%3A%201fr%3B%20gap%3A%203px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-report%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-report%20.v%20%7B%20color%3A%20%231c1c1c%3B%20font-size%3A%20.99rem%3B%20line-height%3A%201.55%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-report%20.tick%20%7B%20color%3A%20%232e7d32%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-report%20.cross%20%7B%20color%3A%20%23c62828%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w4-report%20.quote%20%7B%20border-left%3A%203px%20solid%20%23f1b82d%3B%20padding-left%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23333%3B%20font-style%3A%20italic%3B%20%7D%0A%20%20%20%20%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20LAB_CSS%0A%20%20%20%20return%20(LAB_CSS%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-hero%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w4-eyebrow%22%3ECSC%2FEE%208001%20%26middot%3B%20Week%204%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ch1%3ERight%20Nearly%20Every%20Time%2C%20and%20Useless%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22sub%22%3EA%20model%20can%20be%20right%20ninety-nine%20times%20out%20of%20a%20hundred%20and%20still%20be%0A%20%20%20%20%20%20%20%20%20%20worth%20nothing.%20This%20lab%20is%20about%20the%20data%20underneath%20it%3A%20who%20is%20in%20it%2C%20who%20is%0A%20%20%20%20%20%20%20%20%20%20missing%2C%20and%20why%20the%20score%20on%20your%20screen%20can%20look%20wonderful%20while%20the%20thing%20you%0A%20%20%20%20%20%20%20%20%20%20built%20does%20not%20work.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-chips%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w4-chip%22%3EWho%20is%20in%20your%20data%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w4-chip%22%3ERare%20things%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w4-chip%22%3EScores%20that%20lie%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w4-chip-plain%20w4-chip%22%3ENothing%20here%20is%20marked%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Ch2%3EBefore%20we%20start%3C%2Fh2%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-split%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22body%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3ESo%20far%20the%20labs%20have%20been%20about%20the%20machine.%20Will%20the%20model%20fit%20on%20it%2C%20how%20long%0A%20%20%20%20%20%20%20%20%20%20%20%20does%20it%20take%20to%20answer%2C%20and%20what%20happens%20to%20the%20plan%20when%20the%20answer%20is%20no.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThis%20week%20we%20go%20the%20other%20way%2C%20to%20the%20thing%20the%20model%20is%20made%20of.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3E%3Cstrong%3EA%20model%20is%20not%20really%20written.%20It%20is%20grown%20from%20data.%3C%2Fstrong%3E%20Whatever%0A%20%20%20%20%20%20%20%20%20%20%20%20is%20in%20that%20data%20is%20what%20the%20model%20learns%2C%20including%20the%20gaps.%20Nobody%20chose%20those%0A%20%20%20%20%20%20%20%20%20%20%20%20gaps%20on%20purpose.%20They%20got%20in%20because%20of%20how%20the%20data%20was%20collected%2C%20and%20they%20stay%0A%20%20%20%20%20%20%20%20%20%20%20%20in%20because%20nothing%20about%20them%20looks%20broken.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThat%20is%20the%20hard%20part%2C%20and%20it%20is%20worth%20saying%20plainly%20before%20we%20start.%20When%20code%0A%20%20%20%20%20%20%20%20%20%20%20%20is%20wrong%2C%20it%20stops.%20When%20data%20is%20wrong%2C%20everything%20keeps%20running.%20The%20model%20trains%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20tests%20pass%2C%20the%20score%20goes%20up%2C%20and%20the%20system%20quietly%20gets%20a%20group%20of%20people%0A%20%20%20%20%20%20%20%20%20%20%20%20wrong%20for%20a%20month%20before%20anyone%20notices.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Caside%20class%3D%22w4-aside%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EBy%20the%20end%20you%20can%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Col%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ESay%20why%20a%20broken%20piece%20of%20data%20does%20not%20make%20anything%20crash.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EWork%20out%20who%20is%20missing%20from%20a%20dataset%2C%20and%20what%20that%20costs%20later.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ETell%20the%20difference%20between%20a%20rare%20thing%20and%20a%20small%20number%20of%20examples.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ERead%20accuracy%2C%20precision%20and%20recall%2C%20and%20say%20which%20one%20your%20problem%20needs.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EPick%20where%20to%20set%20the%20line%20between%20alerting%20and%20staying%20quiet.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fol%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22meta%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3ETime%3C%2Fdt%3E%3Cdd%3Eabout%2045%20min%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EBefore%20this%3C%2Fdt%3E%3Cdd%3EWeeks%201%20to%203%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EMarked%3F%3C%2Fdt%3E%3Cdd%3Eno%2C%20the%20quiz%20at%20the%20end%20is%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Faside%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20question%20this%20lab%20answers%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22My%20model%20scores%20well.%20How%20do%20I%20know%20it%20is%20any%20good%3F%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%201%3A%20The%20data%20is%20the%20program%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20is%20a%20way%20of%20looking%20at%20this%20that%20will%20save%20you%20a%20lot%20of%20confusion%20later.%0A%0A%20%20%20%20In%20ordinary%20software%2C%20the%20code%20is%20the%20thing%20you%20write%20and%20the%20program%20is%20what%20comes%20out.%0A%20%20%20%20In%20machine%20learning%2C%20**the%20data%20is%20the%20thing%20you%20write**%20and%20the%20model%20is%20what%20comes%20out.%0A%20%20%20%20Training%20is%20just%20the%20step%20in%20between%2C%20the%20way%20compiling%20is.%0A%0A%20%20%20%20Follow%20that%20through%20and%20it%20says%20something%20uncomfortable.%20Deleting%20a%20row%20of%20data%20is%20like%0A%20%20%20%20deleting%20a%20line%20of%20code.%20Changing%20how%20a%20field%20is%20recorded%20is%20like%20changing%20what%20a%20function%0A%20%20%20%20does.%20Nobody%20would%20do%20either%20of%20those%20without%20a%20second%20pair%20of%20eyes.%20With%20data%2C%20people%20do%0A%20%20%20%20it%20every%20week%20and%20tell%20nobody.%0A%0A%20%20%20%20Now%20the%20difference%20that%20actually%20bites.%0A%0A%20%20%20%20**Broken%20code%20stops.%20Broken%20data%20does%20not.**%20A%20typo%20in%20code%20gives%20you%20a%20red%20error%20and%20a%0A%20%20%20%20line%20number.%20Bad%20data%20gives%20you%20a%20model%20that%20trains%20normally%2C%20scores%20normally%2C%20ships%0A%20%20%20%20normally%2C%20and%20is%20wrong%20about%20one%20group%20of%20people.%0A%0A%20%20%20%20Here%20is%20one%20that%20really%20happened.%0A%0A%20%20%20%20A%20team%20had%20postcodes%20in%20their%20data.%20Somewhere%20upstream%2C%20another%20team%20changed%20that%20field%0A%20%20%20%20from%20a%20number%20to%20text.%20Sounds%20harmless.%20But%20%6007102%60%20had%20been%20stored%20as%20a%20number%2C%20so%20the%0A%20%20%20%20leading%20zero%20was%20never%20there%2C%20and%20it%20came%20out%20as%20%607102%60.%0A%0A%20%20%20%20Every%20row%20was%20still%20perfectly%20valid.%20%607102%60%20is%20a%20fine%20piece%20of%20text.%20Nothing%20to%20complain%0A%20%20%20%20about%2C%20so%20nothing%20complained.%0A%0A%20%20%20%20The%20model%20had%20never%20seen%20%607102%60%20before.%20It%20treated%20a%20whole%20region%20as%20something%20unknown%20and%0A%20%20%20%20started%20turning%20those%20people%20down.%20No%20error.%20No%20alert.%20Nothing%20in%20the%20logs.%0A%0A%20%20%20%20Work%20by%20researchers%20at%20Google%20on%20exactly%20this%20kind%20of%20fault%20found%20it%20takes%20around%20**four%0A%20%20%20%20weeks**%20before%20anyone%20notices%2C%20and%20by%20then%20the%20bad%20values%20have%20been%20copied%20into%20other%0A%20%20%20%20tables%20and%20several%20newer%20models%20have%20trained%20on%20them.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q1%2C%20q1_render%2C%20q1_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20Why%20did%20nothing%20break%20when%2007102%20turned%20into%207102%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20team%20had%20not%20written%20enough%20tests%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20the%20value%20was%20still%20perfectly%20valid%3B%20nothing%20was%20checking%20what%20it%20meant%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20model%20was%20too%20small%20to%20notice%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20change%20was%20made%20on%20a%20weekend%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%22Checks%20look%20at%20shape%2C%20not%20meaning.%20Is%20it%20text%3F%20Yes.%20Is%20anything%20missing%3F%20No.%20%22%0A%20%20%20%20%20%20%20%20%22Both%20answers%20are%20fine%2C%20and%20both%20are%20useless%20here%2C%20because%20the%20question%20that%20%22%0A%20%20%20%20%20%20%20%20%22mattered%20was%20whether%20the%20postcode%20still%20pointed%20at%20the%20same%20place.%20Ordinary%20%22%0A%20%20%20%20%20%20%20%20%22software%20gets%20caught%20by%20the%20computer%20itself%3B%20data%20has%20to%20be%20caught%20by%20a%20check%20%22%0A%20%20%20%20%20%20%20%20%22somebody%20chose%20to%20write.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22q1%22%2C%0A%20%20%20%20)%0A%20%20%20%20q1%0A%20%20%20%20return%20q1%2C%20q1_render%2C%20q1_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q1%2C%20q1_render)%3A%0A%20%20%20%20q1_render(q1.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22So%20what%20do%20you%20do%20about%20it%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20You%20write%20down%20what%20the%20data%20is%20supposed%20to%20look%20like%2C%20and%20you%20check%20every%20batch%20against%20it%0A%20%20%20%20before%20it%20is%20allowed%20in.%20Postcodes%20are%20five%20digits.%20Ages%20are%20between%200%20and%20120.%20This%20camera%0A%20%20%20%20sends%20pictures%202048%20pixels%20wide.%20Roughly%20one%20in%20a%20hundred%20of%20these%20transactions%20is%20fraud.%0A%0A%20%20%20%20The%20first%20few%20are%20easy%20and%20catch%20the%20stupid%20mistakes.%20The%20last%20one%20is%20the%20interesting%20one%2C%0A%20%20%20%20because%20it%20catches%20the%20day%20the%20world%20changes%20rather%20than%20the%20day%20the%20code%20changes.%0A%0A%20%20%20%20There%20is%20also%20a%20habit%20worth%20building%2C%20and%20it%20is%20free.%20**Look%20at%20your%20data.**%20Open%20it.%20Sort%20it.%0A%20%20%20%20Look%20at%20the%20largest%20values%2C%20the%20smallest%2C%20the%20most%20common.%20People%20who%20do%20this%20find%20things%20in%0A%20%20%20%20ten%20minutes%20that%20a%20month%20of%20tuning%20would%20never%20have%20found.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%202%3A%20Who%20is%20actually%20in%20your%20data%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Most%20datasets%20are%20not%20collected.%20They%20are%20**whatever%20was%20easy%20to%20get**.%0A%0A%20%20%20%20Language%20models%20are%20trained%20on%20what%20was%20lying%20around%20on%20the%20internet.%20Review%20data%20comes%0A%20%20%20%20from%20the%20people%20who%20bothered%20to%20write%20a%20review.%20Self-driving%20car%20data%20mostly%20comes%20from%0A%20%20%20%20California%20and%20Arizona%2C%20because%20that%20is%20where%20the%20test%20fleets%20are%2C%20which%20means%20very%20little%0A%20%20%20%20of%20it%20is%20rain%20and%20almost%20none%20of%20it%20is%20snow.%0A%0A%20%20%20%20Read%20that%20last%20one%20again%2C%20because%20it%20is%20the%20whole%20point%20of%20this%20part.%0A%0A%20%20%20%20%3E%20**The%20system%20is%20least%20trained%20exactly%20where%20it%20is%20most%20likely%20to%20fail.**%0A%0A%20%20%20%20Nobody%20decided%20that.%20It%20is%20just%20what%20happens%20when%20you%20take%20the%20data%20that%20is%20easy%20instead%20of%0A%20%20%20%20the%20data%20you%20need.%20And%20no%20amount%20of%20work%20on%20the%20model%20fixes%20it%2C%20because%20the%20examples%20are%0A%20%20%20%20not%20there%20to%20learn%20from.%0A%0A%20%20%20%20Below%20is%20a%20year%20of%20driving%2C%20and%20you%20get%20to%20pick%201%2C000%20clips%20from%20it%20to%20label.%20The%20three%0A%20%20%20%20buttons%20are%20the%20three%20ways%20this%20actually%20goes%20in%20real%20teams.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_picks%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Take%20the%201%2C000%20newest%20clips%20from%20the%20test%20fleet%20in%20Phoenix%22%3A%20%22easy%22%2C%0A%20%20%20%20%20%20%20%20%22Pick%201%2C000%20at%20random%20from%20the%20whole%20year%22%3A%20%22random%22%2C%0A%20%20%20%20%20%20%20%20%22Take%20250%20from%20each%20kind%20of%20driving%20on%20purpose%22%3A%20%22even%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20coverage%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D_picks%2C%0A%20%20%20%20%20%20%20%20value%3Dpick(_picks%2C%20saved.get(%22coverage%22))%20or%20%22Take%20the%201%2C000%20newest%20clips%20from%20the%20test%20fleet%20in%20Phoenix%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22**How%20do%20you%20choose%20the%201%2C000%20clips%20to%20label%3F**%22%2C%0A%20%20%20%20)%0A%20%20%20%20coverage%0A%20%20%20%20return%20(coverage%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(coverage)%3A%0A%20%20%20%20%23%20A%20year%20of%20driving%2C%20and%20how%20often%20each%20kind%20of%20weather%20actually%20happens.%0A%20%20%20%20CONDITIONS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%23%20name%2C%20share%20of%20real%20driving%2C%20clips%20you%20get%20under%20each%20choice%0A%20%20%20%20%20%20%20%20(%22Clear%20daylight%22%2C%200.78%2C%20%7B%22easy%22%3A%20985%2C%20%22random%22%3A%20780%2C%20%22even%22%3A%20250%7D)%2C%0A%20%20%20%20%20%20%20%20(%22Night%22%2C%200.15%2C%20%7B%22easy%22%3A%2015%2C%20%22random%22%3A%20150%2C%20%22even%22%3A%20250%7D)%2C%0A%20%20%20%20%20%20%20%20(%22Heavy%20rain%22%2C%200.05%2C%20%7B%22easy%22%3A%200%2C%20%22random%22%3A%2050%2C%20%22even%22%3A%20250%7D)%2C%0A%20%20%20%20%20%20%20%20(%22Snow%22%2C%200.02%2C%20%7B%22easy%22%3A%200%2C%20%22random%22%3A%2020%2C%20%22even%22%3A%20250%7D)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20def%20miss_rate(clips)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Roughly%20how%20often%20the%20car%20misses%20something%2C%20given%20what%20it%20was%20shown.%22%22%22%0A%20%20%20%20%20%20%20%20if%20clips%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%200.60%0A%20%20%20%20%20%20%20%20return%20max(0.03%2C%200.90%20%2F%20(clips%20**%200.5))%0A%0A%20%20%20%20choice%20%3D%20coverage.value%0A%20%20%20%20rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_name%2C%20_share%2C%20_clips%20in%20CONDITIONS%3A%0A%20%20%20%20%20%20%20%20n%20%3D%20_clips%5Bchoice%5D%0A%20%20%20%20%20%20%20%20rows.append(%7B%22name%22%3A%20_name%2C%20%22share%22%3A%20_share%2C%20%22clips%22%3A%20n%2C%20%22miss%22%3A%20miss_rate(n)%7D)%0A%20%20%20%20overall%20%3D%20sum(r%5B%22share%22%5D%20*%20r%5B%22miss%22%5D%20for%20r%20in%20rows)%0A%20%20%20%20worst%20%3D%20max(rows%2C%20key%3Dlambda%20r%3A%20r%5B%22miss%22%5D)%0A%20%20%20%20return%20choice%2C%20overall%2C%20rows%2C%20worst%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo%2C%20overall%2C%20rows)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_cards%20%3D%20%22%22%0A%20%20%20%20for%20r%20in%20rows%3A%0A%20%20%20%20%20%20%20%20_bad%20%3D%20r%5B%22miss%22%5D%20%3E%200.15%0A%20%20%20%20%20%20%20%20_cards%20%2B%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-card%20%7B'bad'%20if%20_bad%20else%20'ok'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ch4%3E%7Br%5B'name'%5D%7D%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22where%22%3E%7Br%5B'share'%5D%20*%20100%3A.0f%7D%20per%20cent%20of%20real%20driving%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22big%22%3E%7Br%5B'clips'%5D%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22small%22%3Eclips%20to%20learn%20from%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22big%22%20style%3D%22margin-top%3A8px%3Bcolor%3A%7B'%23c62828'%20if%20_bad%20else%20'%232e7d32'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%7Br%5B'miss'%5D%20*%20100%3A.0f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22small%22%3Eof%20things%20missed%20here%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22w4-cards%22%3E%7B_cards%7D%3C%2Fdiv%3E')%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%20%7B'red'%20if%20overall%20%3E%200.1%20else%20'green'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EMissed%20overall%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Boverall%20*%20100%3A.1f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eweighted%20by%20how%20often%20each%20kind%20of%20driving%20happens%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(choice%2C%20mo%2C%20overall%2C%20worst)%3A%0A%20%20%20%20if%20choice%20%3D%3D%20%22easy%22%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**This%20is%20the%20one%20that%20gets%20shipped.**%20The%20overall%20number%20looks%20respectable%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22at%20%7Boverall%20*%20100%3A.1f%7D%20per%20cent%20missed%2C%20because%20almost%20all%20driving%20is%20clear%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22daylight%20and%20the%20car%20is%20good%20at%20that.%20But%20it%20has%20never%20seen%20rain%20or%20snow%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22in%20those%20it%20misses%20**%7Bworst%5B'miss'%5D%20*%20100%3A.0f%7D%20per%20cent**%20of%20what%20matters.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22You%20will%20not%20find%20this%20out%20from%20the%20score.%20You%20find%20it%20out%20in%20February.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22danger%22%0A%20%20%20%20elif%20choice%20%3D%3D%20%22random%22%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Honest%2C%20and%20still%20thin%20where%20it%20counts.**%20A%20random%20sample%20looks%20like%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22real%20world%2C%20so%20common%20driving%20is%20well%20covered%20and%20the%20overall%20number%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Boverall%20*%20100%3A.1f%7D%20per%20cent.%20The%20trouble%20is%20that%20rare%20weather%20is%20rare%20in%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22sample%20too%3A%20only%2020%20snow%20clips%2C%20and%20the%20car%20misses%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bworst%5B'miss'%5D%20*%20100%3A.0f%7D%20per%20cent%20of%20what%20happens%20in%20the%20worst%20of%20them.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Deliberately%20uneven%2C%20and%20much%20safer.**%20You%20spent%20clips%20where%20the%20car%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22weak%20instead%20of%20where%20it%20was%20already%20fine.%20Clear%20daylight%20got%20worse%2C%20because%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22you%20gave%20it%20fewer%20examples.%20Rain%20and%20snow%20got%20far%20better.%20Overall%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Boverall%20*%20100%3A.1f%7D%20per%20cent%20missed%2C%20and%20nothing%20on%20the%20list%20is%20a%20disaster.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20names%20for%20these%20three%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20Every%20one%20of%20these%20has%20a%20proper%20name%2C%20and%20you%20will%20hear%20all%20three.%0A%0A%20%20%20%20**Convenience%20sampling**%20is%20the%20first%20one%3A%20take%20what%20is%20easy%20to%20reach.%20Almost%20all%20data%20in%0A%20%20%20%20machine%20learning%20is%20this%2C%20including%20the%20famous%20datasets.%20It%20is%20not%20automatically%20wrong.%20It%20is%0A%20%20%20%20wrong%20when%20the%20easy%20data%20is%20a%20different%20shape%20from%20the%20real%20world%2C%20which%20it%20usually%20is.%0A%0A%20%20%20%20**Simple%20random%20sampling**%20is%20the%20second%3A%20everything%20has%20the%20same%20chance%20of%20being%20picked.%20It%0A%20%20%20%20is%20honest%20and%20it%20is%20the%20baseline%20everything%20else%20is%20compared%20against.%20Its%20weakness%20is%20exactly%0A%20%20%20%20what%20you%20saw%3A%20if%20something%20is%20rare%20in%20the%20world%2C%20it%20is%20just%20as%20rare%20in%20your%20sample.%0A%0A%20%20%20%20**Stratified%20sampling**%20is%20the%20third%3A%20split%20the%20world%20into%20groups%20first%2C%20then%20take%20from%20each%0A%20%20%20%20group%20on%20purpose.%20You%20use%20it%20when%20you%20care%20about%20the%20small%20groups%2C%20which%20in%20safety%20work%20is%0A%20%20%20%20always.%0A%0A%20%20%20%20There%20is%20a%20fourth%20worth%20knowing%20by%20name.%20**Cluster%20sampling**%20is%20picking%20a%20few%20whole%20groups%0A%20%20%20%20and%20taking%20everyone%20inside%20them%3A%20choose%20three%20cities%2C%20take%20every%20driver%20in%20them.%20It%20is%20cheaper%0A%20%20%20%20to%20collect%2C%20but%20people%20in%20the%20same%20city%20resemble%20each%20other%2C%20so%20a%20thousand%20rows%20from%20three%0A%20%20%20%20cities%20tells%20you%20much%20less%20than%20a%20thousand%20rows%20from%20everywhere.%0A%0A%20%20%20%20One%20sentence%20to%20keep%20from%20all%20of%20this%3A%20**stratified%20means%20each%20group%20should%20be%20similar%20inside%3B%0A%20%20%20%20cluster%20means%20each%20group%20should%20be%20as%20varied%20inside%20as%20the%20world%20is.**%20People%20get%20that%0A%20%20%20%20backwards%20every%20year.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22When%20somebody%20says%20just%20collect%20more%20data%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20More%20of%20the%20same%20data%20mostly%20buys%20you%20very%20little.%0A%0A%20%20%20%20If%20your%20data%20was%20collected%20in%20a%20lopsided%20way%2C%20collecting%20ten%20times%20more%20of%20it%20in%20the%20same%20way%0A%20%20%20%20gives%20you%20ten%20times%20more%20of%20the%20same%20lopsided%20data.%20You%20become%20more%20confident%20about%20a%20number%0A%20%20%20%20that%20was%20never%20the%20right%20number.%20Meanwhile%20the%20cost%20goes%20up%20in%20a%20straight%20line.%0A%0A%20%20%20%20The%20useful%20version%20of%20%22collect%20more%20data%22%20is%20always%20specific%3A%20more%20of%20**what**%2C%20from%20**where**%2C%0A%20%20%20%20covering%20**which**%20situations%20you%20currently%20cannot%20handle.%20That%20is%20a%20sampling%20decision%2C%20which%0A%20%20%20%20is%20where%20this%20section%20started.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q2%2C%20q2_render%2C%20q2_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20A%20team%20says%20their%20driving%20data%20is%20fine%20because%20it%20was%20picked%20at%20random%20from%20a%20year%20of%20real%20driving.%20What%20is%20still%20missing%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Nothing%2C%20random%20is%20the%20gold%20standard%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Enough%20examples%20of%20the%20rare%20conditions%2C%20because%20rare%20in%20the%20world%20means%20rare%20in%20the%20sample%20too%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22More%20clips%20of%20clear%20daylight%20driving%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20bigger%20model%20to%20learn%20from%20the%20same%20clips%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%22Random%20sampling%20copies%20the%20world%2C%20including%20how%20little%20of%20it%20is%20snow.%20That%20is%20%22%0A%20%20%20%20%20%20%20%20%22exactly%20right%20for%20measuring%20how%20the%20car%20does%20on%20an%20average%20day%2C%20and%20not%20enough%20%22%0A%20%20%20%20%20%20%20%20%22for%20teaching%20it%20the%20days%20that%20hurt.%20If%20you%20care%20about%20the%20rare%20case%2C%20you%20have%20to%20%22%0A%20%20%20%20%20%20%20%20%22go%20and%20get%20more%20of%20it%20on%20purpose%2C%20and%20then%20remember%20that%20your%20sample%20no%20longer%20%22%0A%20%20%20%20%20%20%20%20%22looks%20like%20the%20world.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22q2%22%2C%0A%20%20%20%20)%0A%20%20%20%20q2%0A%20%20%20%20return%20q2%2C%20q2_render%2C%20q2_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q2%2C%20q2_render)%3A%0A%20%20%20%20q2_render(q2.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%203%3A%20Rare%20is%20not%20the%20same%20as%20few%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Now%20to%20the%20thing%20that%20makes%20most%20of%20these%20systems%20hard%3A%20**the%20thing%20you%20care%20about%20hardly%0A%20%20%20%20ever%20happens.**%0A%0A%20%20%20%20Fraud%20is%20about%20one%20or%20two%20transactions%20in%20a%20thousand.%20Serious%20disease%20in%20a%20screening%0A%20%20%20%20programme%20is%20rarer%20than%20that.%20Machine%20faults%2C%20intrusions%2C%20bad%20reactions%20to%20a%20drug.%20In%20every%0A%20%20%20%20one%20of%20them%2C%20the%20rare%20case%20is%20the%20entire%20reason%20anyone%20is%20building%20the%20system.%0A%0A%20%20%20%20People%20describe%20this%20with%20a%20ratio%2C%20like%20%22999%20to%201%22%2C%20and%20the%20ratio%20is%20the%20less%20useful%20half%0A%20%20%20%20of%20the%20story.%20What%20decides%20whether%20you%20can%20build%20anything%20is%20**how%20many%20examples%20of%20the%0A%20%20%20%20rare%20thing%20you%20actually%20have**.%0A%0A%20%20%20%20-%201%2C000%20to%201%2C%20with%20ten%20million%20fraud%20cases%20in%20hand%3A%20fine.%20Plenty%20to%20learn%20from.%0A%20%20%20%20-%2010%20to%201%2C%20with%20forty%20fraud%20cases%20in%20hand%3A%20not%20fine.%20Forty%20is%20almost%20nothing.%0A%0A%20%20%20%20The%20second%20one%20has%20a%20far%20kinder%20ratio%20and%20is%20the%20far%20worse%20position%20to%20be%20in.%0A%0A%20%20%20%20Move%20the%20two%20sliders%20and%20watch%20the%20number%20that%20matters%2C%20which%20is%20the%20one%20on%20the%20right.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20rows_labelled%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20steps%3D%5B1000%2C%205000%2C%2020000%2C%20100000%2C%20500000%2C%202000000%5D%2C%0A%20%20%20%20%20%20%20%20value%3Dsaved.get(%22rows%22%2C%2020000)%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20many%20rows%20you%20can%20afford%20to%20label%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20_rates%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%221%20in%2010%20(common)%22%3A%200.1%2C%0A%20%20%20%20%20%20%20%20%221%20in%20100%22%3A%200.01%2C%0A%20%20%20%20%20%20%20%20%221%20in%201%2C000%20(fraud)%22%3A%200.001%2C%0A%20%20%20%20%20%20%20%20%221%20in%2010%2C000%20(rare%20disease)%22%3A%200.0001%2C%0A%20%20%20%20%7D%0A%20%20%20%20prevalence%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D_rates%2C%0A%20%20%20%20%20%20%20%20value%3Dpick(_rates%2C%20saved.get(%22prevalence%22))%20or%20%221%20in%201%2C000%20(fraud)%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20often%20the%20thing%20you%20care%20about%20happens%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Brows_labelled%2C%20prevalence%5D)%0A%20%20%20%20return%20prevalence%2C%20rows_labelled%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(prevalence%2C%20rows_labelled)%3A%0A%20%20%20%20labelled%20%3D%20int(rows_labelled.value)%0A%20%20%20%20rate%20%3D%20float(prevalence.value)%0A%20%20%20%20positives%20%3D%20labelled%20*%20rate%0A%20%20%20%20%23%20Rough%20rule%20of%20thumb%20from%20practice%2C%20not%20a%20law%20of%20nature.%0A%20%20%20%20if%20positives%20%3C%2050%3A%0A%20%20%20%20%20%20%20%20verdict%20%3D%20(%22Not%20enough%22%2C%20%22bad%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Fewer%20than%20about%20fifty%20examples%20and%20there%20is%20nothing%20to%20learn%20from.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22No%20method%20fixes%20this.%20Go%20and%20find%20more%20of%20them.%22)%0A%20%20%20%20elif%20positives%20%3C%20500%3A%0A%20%20%20%20%20%20%20%20verdict%20%3D%20(%22Thin%22%2C%20%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Enough%20to%20start%2C%20not%20enough%20to%20trust.%20Expect%20the%20model%20to%20be%20unstable%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22retrain%20it%20on%20a%20different%20week%20of%20data%20and%20it%20changes%20its%20mind.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20verdict%20%3D%20(%22Workable%22%2C%20%22ok%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Enough%20examples%20of%20the%20rare%20thing%20to%20actually%20learn%20its%20shape.%20The%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22lopsided%20ratio%20is%20now%20a%20training%20problem%2C%20and%20those%20have%20known%20fixes.%22)%0A%20%20%20%20return%20labelled%2C%20positives%2C%20rate%2C%20verdict%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20labelled%2C%20mo%2C%20positives%2C%20rate%2C%20verdict)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_colour%20%3D%20%7B%22bad%22%3A%20%22red%22%2C%20%22warn%22%3A%20%22%22%2C%20%22ok%22%3A%20%22green%22%7D%5Bverdict%5B1%5D%5D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ERows%20you%20label%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Blabelled%3A%2C%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eand%20pay%20for%2C%20one%20by%20one%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ERatio%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bround(1%20%2F%20rate)%3A%2C%7D%3A1%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ethe%20number%20people%20quote%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%20%7B_colour%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EExamples%20of%20the%20rare%20thing%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bpositives%3A%2C.0f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ethe%20number%20that%20decides%20everything%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(f%22**%7Bverdict%5B0%5D%7D.**%20%7Bverdict%5B2%5D%7D%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%7B%22bad%22%3A%20%22danger%22%2C%20%22warn%22%3A%20%22warn%22%2C%20%22ok%22%3A%20%22success%22%7D%5Bverdict%5B1%5D%5D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20this%20is%20the%20first%20thing%20to%20check%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20Because%20it%20decides%20which%20problem%20you%20are%20actually%20having.%0A%0A%20%20%20%20If%20you%20have%20forty%20fraud%20cases%2C%20you%20do%20not%20have%20a%20modelling%20problem.%20You%20have%20a%20data%0A%20%20%20%20collection%20problem%2C%20and%20every%20clever%20trick%20below%20is%20a%20distraction.%20Go%20and%20get%20more%20cases%3A%0A%20%20%20%20buy%20labels%2C%20dig%20through%20history%2C%20borrow%20from%20a%20related%20product%2C%20pay%20an%20expert%20to%20label%20a%20week%0A%20%20%20%20of%20transactions%20properly.%0A%0A%20%20%20%20If%20you%20have%20fifty%20thousand%20fraud%20cases%20sitting%20inside%20fifty%20million%20transactions%2C%20now%20the%0A%20%20%20%20lopsidedness%20is%20a%20real%20training%20problem%2C%20and%20the%20rest%20of%20this%20lab%20is%20about%20what%20to%20do.%0A%0A%20%20%20%20It%20takes%20one%20line%20of%20code%20to%20find%20out%20which%20of%20those%20two%20you%20are%20in%2C%20and%20people%20skip%20it%0A%20%20%20%20constantly.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%204%3A%20Ninety%20per%20cent%20right%2C%20and%20no%20use%20to%20anyone%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20is%20the%20trap%20this%20whole%20lab%20is%20named%20after.%0A%0A%20%20%20%20A%20thousand%20people%20are%20screened.%20One%20hundred%20of%20them%20have%20cancer%2C%20nine%20hundred%20do%20not.%20Now%0A%20%20%20%20consider%20a%20program%20that%20is%20one%20line%20long%3A%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20print(%22normal%22)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20It%20says%20everybody%20is%20fine.%20It%20never%20looks%20at%20anything.%20It%20is%20right%20nine%20hundred%20times%20out%0A%20%20%20%20of%20a%20thousand%2C%20so%20its%20accuracy%20is%20**90%20per%20cent**%2C%20and%20it%20misses%20every%20single%20cancer.%0A%0A%20%20%20%20That%20is%20the%20thing%20to%20sit%20with.%20Your%20model%20has%20to%20beat%20that%20before%20it%20has%20done%20anything%20at%0A%20%20%20%20all%2C%20and%20beating%20it%20on%20accuracy%20is%20easy%20while%20being%20useful%20is%20not.%0A%0A%20%20%20%20So%20accuracy%20is%20out.%20What%20do%20we%20use%20instead%3F%20Two%20questions%2C%20and%20they%20are%20ordinary%20questions%0A%20%20%20%20once%20you%20say%20them%20in%20plain%20words.%0A%0A%20%20%20%20**Of%20the%20people%20who%20really%20had%20cancer%2C%20how%20many%20did%20we%20catch%3F**%20That%20is%20**recall**.%20High%0A%20%20%20%20recall%20means%20few%20people%20get%20sent%20home%20wrongly.%0A%0A%20%20%20%20**Of%20the%20people%20we%20raised%20the%20alarm%20about%2C%20how%20many%20really%20had%20it%3F**%20That%20is%20**precision**.%0A%20%20%20%20High%20precision%20means%20few%20people%20get%20a%20frightening%20phone%20call%20for%20nothing.%0A%0A%20%20%20%20Set%20the%20two%20sliders%20below%20and%20watch%20what%20happens%20to%20those%20numbers%2C%20and%20to%20accuracy%2C%20which%0A%20%20%20%20barely%20moves.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20caught%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%20100%2C%20value%3Dsaved.get(%22caught%22%2C%2010)%2C%20step%3D5%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Of%20the%20100%20real%20cancers%2C%20how%20many%20the%20model%20catches%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20alarms%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%20300%2C%20value%3Dsaved.get(%22alarms%22%2C%2010)%2C%20step%3D5%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20many%20healthy%20people%20it%20also%20flags%20(out%20of%20900)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bcaught%2C%20alarms%5D)%0A%20%20%20%20return%20alarms%2C%20caught%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(alarms%2C%20caught)%3A%0A%20%20%20%20tp%20%3D%20int(caught.value)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20cancers%20caught%0A%20%20%20%20fn%20%3D%20100%20-%20tp%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20cancers%20missed%0A%20%20%20%20fp%20%3D%20int(alarms.value)%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20healthy%20people%20wrongly%20flagged%0A%20%20%20%20tn%20%3D%20900%20-%20fp%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20healthy%20people%20correctly%20left%20alone%0A%0A%20%20%20%20accuracy%20%3D%20(tp%20%2B%20tn)%20%2F%201000%0A%20%20%20%20precision%20%3D%20tp%20%2F%20(tp%20%2B%20fp)%20if%20(tp%20%2B%20fp)%20else%200.0%0A%20%20%20%20recall%20%3D%20tp%20%2F%20100%0A%20%20%20%20f1%20%3D%20(2%20*%20precision%20*%20recall%20%2F%20(precision%20%2B%20recall))%20if%20(precision%20%2B%20recall)%20else%200.0%0A%20%20%20%20baseline%20%3D%200.90%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20what%20print(%22normal%22)%20gets%0A%20%20%20%20return%20accuracy%2C%20baseline%2C%20f1%2C%20fn%2C%20fp%2C%20precision%2C%20recall%2C%20tn%2C%20tp%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20accuracy%2C%20baseline%2C%20f1%2C%20fn%2C%20fp%2C%20mo%2C%20precision%2C%20recall%2C%20tn%2C%20tp)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ctable%20class%3D%22w4-matrix%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Cth%3E%3C%2Fth%3E%3Cth%3EReally%20has%20cancer%3C%2Fth%3E%3Cth%3EReally%20healthy%3C%2Fth%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Cth%3EModel%20says%20cancer%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22hit%22%3E%7Btp%7D%20caught%3C%2Ftd%3E%3Ctd%20class%3D%22miss%22%3E%7Bfp%7D%20false%20alarms%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctr%3E%3Cth%3EModel%20says%20normal%3C%2Fth%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Ctd%20class%3D%22miss%22%3E%7Bfn%7D%20missed%3C%2Ftd%3E%3Ctd%20class%3D%22hit%22%3E%7Btn%7D%20correctly%20left%20alone%3C%2Ftd%3E%3C%2Ftr%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ftable%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%20%7B'green'%20if%20accuracy%20%3E%20baseline%20else%20'red'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EAccuracy%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Baccuracy%20*%20100%3A.0f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eprint(%22normal%22)%20gets%20%7Bbaseline%20*%20100%3A.0f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ERecall%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Brecall%20*%20100%3A.0f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eof%20real%20cancers%20caught%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EPrecision%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bprecision%20*%20100%3A.0f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Eof%20alarms%20that%20were%20real%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EF1%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bf1%20*%20100%3A.0f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ethe%20two%20above%2C%20rolled%20into%20one%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(accuracy%2C%20baseline%2C%20fn%2C%20mo%2C%20precision%2C%20recall)%3A%0A%20%20%20%20if%20accuracy%20%3C%3D%20baseline%20and%20recall%20%3C%200.5%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Beaten%20by%20one%20line%20of%20code.**%20At%20%7Baccuracy%20*%20100%3A.0f%7D%20per%20cent%20you%20are%20level%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22with%20or%20behind%20%60print(%5C%22normal%5C%22)%60%2C%20and%20you%20are%20sending%20%7Bfn%7D%20people%20with%20cancer%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22home.%20This%20is%20the%20shape%20of%20a%20real%20model%20that%20looks%20fine%20on%20a%20dashboard.%22%2C%20%22danger%22)%0A%20%20%20%20elif%20recall%20%3E%3D%200.85%20and%20precision%20%3E%3D%200.4%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**This%20is%20what%20you%20want.**%20%7Brecall%20*%20100%3A.0f%7D%20per%20cent%20of%20cancers%20caught%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bprecision%20*%20100%3A.0f%7D%20per%20cent%20of%20your%20alarms%20are%20real.%20Notice%20the%20accuracy%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22hardly%20moved%20from%20the%20useless%20version.%20It%20was%20never%20the%20number%20telling%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22anything.%22%2C%20%22success%22)%0A%20%20%20%20elif%20recall%20%3E%3D%200.85%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Catching%20nearly%20everything%2C%20at%20a%20price.**%20%7Brecall%20*%20100%3A.0f%7D%20per%20cent%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22cancers%20found%2C%20but%20only%20%7Bprecision%20*%20100%3A.0f%7D%20per%20cent%20of%20your%20alarms%20are%20real%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22so%20most%20people%20you%20frighten%20are%20fine.%20Whether%20that%20trade%20is%20right%20depends%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22what%20happens%20after%20the%20alarm.%22%2C%20%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Still%20missing%20%7Bfn%7D%20of%20100.**%20Accuracy%20says%20%7Baccuracy%20*%20100%3A.0f%7D%20per%20cent%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22which%20sounds%20like%20a%20pass.%20Recall%20says%20%7Brecall%20*%20100%3A.0f%7D%20per%20cent%2C%20which%20is%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22number%20a%20patient%20would%20care%20about.%22%2C%20%22warn%22)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Two%20models%2C%20same%20accuracy%2C%20completely%20different%20lives%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20This%20is%20the%20example%20from%20the%20lecture%2C%20and%20it%20is%20worth%20having%20in%20your%20head%20as%20a%20picture.%0A%0A%20%20%20%20%7C%20%7C%20Cancers%20caught%20%7C%20False%20alarms%20%7C%20Accuracy%20%7C%20Precision%20%7C%20Recall%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20Model%20A%20%7C%2010%20of%20100%20%7C%2010%20%7C%2090%25%20%7C%2050%25%20%7C%2010%25%20%7C%0A%20%20%20%20%7C%20Model%20B%20%7C%2090%20of%20100%20%7C%2090%20%7C%2090%25%20%7C%2050%25%20%7C%2090%25%20%7C%0A%0A%20%20%20%20Same%20accuracy.%20Same%20precision.%20One%20of%20them%20finds%20ninety%20cancers%2C%20the%20other%20finds%20ten.%20If%20you%0A%20%20%20%20were%20choosing%20between%20them%20on%20the%20number%20most%20people%20report%2C%20you%20could%20not%20tell%20them%20apart.%0A%0A%20%20%20%20Recall%20is%20the%20number%20that%20separates%20them%2C%20and%20in%20screening%20it%20is%20the%20one%20that%20matters.%0A%0A%20%20%20%20**F1**%20is%20the%20two%20numbers%20squeezed%20into%20one%2C%20and%20it%20is%20handy%20for%20ranking%20a%20pile%20of%20models%0A%20%20%20%20quickly.%20Be%20careful%20with%20it%2C%20though%3A%20it%20treats%20a%20miss%20and%20a%20false%20alarm%20as%20equally%20bad%2C%20and%0A%20%20%20%20almost%20no%20real%20problem%20works%20that%20way.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q3%2C%20q3_render%2C%20q3_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20Which%20number%20tells%20you%20whether%20people%20with%20the%20disease%20are%20being%20sent%20home%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Accuracy%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Precision%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Recall%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20size%20of%20the%20training%20set%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%22Recall%20asks%3A%20of%20everyone%20who%20really%20had%20it%2C%20how%20many%20did%20we%20catch%3F%20The%20ones%20we%20%22%0A%20%20%20%20%20%20%20%20%22did%20not%20catch%20are%20the%20people%20sent%20home.%20Precision%20is%20the%20other%20side%20of%20the%20coin%2C%20%22%0A%20%20%20%20%20%20%20%20%22and%20answers%20a%20different%20worry%3A%20of%20the%20people%20we%20alarmed%2C%20how%20many%20were%20really%20ill.%20%22%0A%20%20%20%20%20%20%20%20%22Accuracy%20mixes%20both%20together%20with%20a%20huge%20number%20of%20healthy%20people%20and%20hides%20both.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22q3%22%2C%0A%20%20%20%20)%0A%20%20%20%20q3%0A%20%20%20%20return%20q3%2C%20q3_render%2C%20q3_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q3%2C%20q3_render)%3A%0A%20%20%20%20q3_render(q3.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%205%3A%20Which%20mistake%20would%20you%20rather%20make%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20You%20cannot%20have%20both.%20Push%20recall%20up%20and%20precision%20falls%2C%20every%20time.%20So%20the%20real%20question%0A%20%20%20%20is%20never%20%22which%20is%20better%22%2C%20it%20is%20**which%20mistake%20does%20less%20harm%20here**%2C%20and%20that%20is%20a%0A%20%20%20%20question%20about%20the%20world%2C%20not%20about%20the%20model.%0A%0A%20%20%20%20Three%20of%20them%2C%20quickly.%0A%0A%20%20%20%20**A%20contagious%20illness.**%20Miss%20one%20and%20it%20spreads%20to%20other%20people.%20A%20false%20alarm%20costs%20one%0A%20%20%20%20more%20test.%20Catch%20everything%3A%20go%20for%20recall.%0A%0A%20%20%20%20**Predicting%20who%20will%20commit%20a%20crime.**%20A%20false%20alarm%20is%20a%20real%20person%20accused%20of%20something%0A%20%20%20%20they%20have%20not%20done.%20Be%20sure%20before%20you%20speak%3A%20precision.%0A%0A%20%20%20%20**A%20tool%20that%20flags%20bugs%20in%20code.**%20If%20it%20cries%20wolf%2C%20developers%20switch%20it%20off%2C%20and%20a%20tool%0A%20%20%20%20nobody%20runs%20catches%20nothing.%20Precision%2C%20for%20a%20reason%20that%20is%20about%20people%20rather%20than%0A%20%20%20%20statistics.%0A%0A%20%20%20%20Notice%20that%20the%20third%20one%20has%20no%20lives%20in%20it%20and%20still%20comes%20out%20the%20same%20way.%20The%20question%0A%20%20%20%20is%20always%20what%20happens%20next%2C%20to%20whom%2C%20and%20who%20pays%20for%20it.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q4%2C%20q4_render%2C%20q4_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20A%20hospital%20is%20screening%20everyone%20for%20an%20illness%20that%20is%20easy%20to%20treat%20early%20and%20deadly%20if%20missed.%20A%20positive%20result%20means%20one%20more%20test.%20Where%20should%20the%20emphasis%20go%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Precision%3A%20do%20not%20worry%20people%20without%20good%20reason%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Recall%3A%20catch%20every%20case%2C%20and%20accept%20some%20unnecessary%20tests%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Accuracy%3A%20keep%20the%20overall%20number%20as%20high%20as%20possible%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20does%20not%20matter%2C%20they%20trade%20off%20anyway%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%22Compare%20what%20each%20mistake%20costs.%20A%20false%20alarm%20costs%20one%20extra%20test%20and%20a%20bad%20%22%0A%20%20%20%20%20%20%20%20%22afternoon.%20A%20miss%20costs%20a%20life%20that%20could%20have%20been%20saved.%20When%20the%20two%20sides%20are%20%22%0A%20%20%20%20%20%20%20%20%22that%20lopsided%2C%20you%20buy%20recall%20and%20pay%20for%20it%20in%20false%20alarms.%20Note%20that%20this%20flips%20%22%0A%20%20%20%20%20%20%20%20%22later%20in%20the%20same%20hospital%3A%20once%20someone%20is%20being%20confirmed%20rather%20than%20screened%2C%20%22%0A%20%20%20%20%20%20%20%20%22precision%20matters%20more%2C%20because%20now%20the%20next%20step%20is%20treatment.%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22q4%22%2C%0A%20%20%20%20)%0A%20%20%20%20q4%0A%20%20%20%20return%20q4%2C%20q4_render%2C%20q4_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q4%2C%20q4_render)%3A%0A%20%20%20%20q4_render(q4.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%206%3A%20The%20line%20you%20draw%20yourself%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20One%20more%20thing%20people%20do%20not%20realise%20they%20are%20choosing.%0A%0A%20%20%20%20A%20model%20does%20not%20really%20say%20yes%20or%20no.%20It%20gives%20a%20number%20between%200%20and%201%2C%20a%20sort%20of%0A%20%20%20%20confidence.%20Somebody%20then%20draws%20a%20line%20and%20says%3A%20above%20this%2C%20raise%20the%20alarm.%20That%20line%20is%0A%20%20%20%20called%20the%20**threshold**%2C%20and%20the%20usual%20value%20of%200.5%20was%20not%20chosen%20by%20anyone%20who%20thought%0A%20%20%20%20about%20your%20problem.%20It%20is%20just%20the%20middle.%0A%0A%20%20%20%20Move%20the%20line%20down%20and%20you%20catch%20more%20real%20cases%20and%20cause%20more%20false%20alarms.%20Move%20it%20up%0A%20%20%20%20and%20you%20cause%20fewer%20false%20alarms%20and%20miss%20more%20real%20cases.%20**This%20is%20a%20dial%20you%20own%2C%20and%0A%20%20%20%20it%20costs%20nothing%20to%20turn.**%0A%0A%20%20%20%20Here%20is%20a%20screening%20programme%20at%20full%20size.%20One%20million%20people%2C%20and%20one%20hundred%20of%20them%20are%0A%20%20%20%20really%20ill.%20Try%20the%20dial.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20threshold%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%20100%2C%20value%3Dsaved.get(%22threshold%22%2C%200)%2C%20step%3D5%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Where%20you%20draw%20the%20line%20(0%20%3D%20alarm%20on%20the%20faintest%20hint%2C%20100%20%3D%20only%20when%20almost%20certain)%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20threshold%0A%20%20%20%20return%20(threshold%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(threshold)%3A%0A%20%20%20%20import%20math%0A%0A%20%20%20%20REAL_CASES%20%3D%20100%0A%20%20%20%20HEALTHY%20%3D%201_000_000%0A%0A%20%20%20%20t%20%3D%20float(threshold.value)%0A%20%20%20%20%23%20A%20well%20behaved%20model%3A%20raising%20the%20bar%20loses%20a%20few%20real%20cases%20and%20a%20lot%20of%20false%20alarms.%0A%20%20%20%20recall_t%20%3D%200.99%20*%20math.exp(-0.012%20*%20t)%0A%20%20%20%20false_rate%20%3D%200.02%20*%20math.exp(-0.060%20*%20t)%0A%0A%20%20%20%20found%20%3D%20round(REAL_CASES%20*%20recall_t)%0A%20%20%20%20false_alarms%20%3D%20round(HEALTHY%20*%20false_rate)%0A%20%20%20%20missed%20%3D%20REAL_CASES%20-%20found%0A%20%20%20%20precision_t%20%3D%20found%20%2F%20(found%20%2B%20false_alarms)%20if%20(found%20%2B%20false_alarms)%20else%200.0%0A%20%20%20%20per_real%20%3D%20(false_alarms%20%2F%20found)%20if%20found%20else%20float(%22inf%22)%0A%20%20%20%20return%20false_alarms%2C%20found%2C%20missed%2C%20per_real%2C%20precision_t%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20false_alarms%2C%20found%2C%20missed%2C%20mo%2C%20per_real%2C%20precision_t)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_scale%20%3D%2020000.0%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-grid%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%20%7B'green'%20if%20found%20%3E%3D%2080%20else%20'red'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EReal%20cases%20found%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bfound%7D%20of%20100%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E%7Bmissed%7D%20%7B'person'%20if%20missed%20%3D%3D%201%20else%20'people'%7D%20sent%20home%20ill%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%20%7B'red'%20if%20false_alarms%20%3E%201000%20else%20'green'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EFalse%20alarms%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bfalse_alarms%3A%2C%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Ehealthy%20people%20told%20to%20come%20back%20in%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EAlarms%20that%20are%20real%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bprecision_t%20*%20100%3A.1f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E%7Bper_real%3A%2C.0f%7D%20false%20alarms%20for%20every%20real%20case%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-stat%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EAUC%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E0.98%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Edoes%20not%20move%2C%20wherever%20you%20put%20the%20line%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-bars%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-bar%20bad%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22t%22%3EFalse%20alarms%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22track%22%3E%3Cspan%20class%3D%22fill%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20style%3D%22width%3A%7Bmin(false_alarms%20%2F%20_scale%20*%20100%2C%20100)%3A.1f%7D%25%22%3E%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7Bfalse_alarms%3A%2C%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-bar%20good%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22t%22%3EReal%20cases%20found%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22track%22%3E%3Cspan%20class%3D%22fill%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20style%3D%22width%3A%7Bfound%20%2F%20100%20*%20100%3A.1f%7D%25%22%3E%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7Bfound%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w4-note%22%3EThe%20two%20bars%20are%20not%20on%20the%20same%20scale.%20They%20cannot%20be%3A%20one%20tops%0A%20%20%20%20%20%20%20%20%20%20%20%20out%20at%20a%20hundred%20and%20the%20other%20runs%20into%20the%20tens%20of%20thousands.%20That%20gap%20is%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20whole%20problem%20with%20rare%20things.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(false_alarms%2C%20found%2C%20missed%2C%20mo%2C%20per_real)%3A%0A%20%20%20%20if%20per_real%20%3E%2050%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Nobody%20can%20work%20with%20this.**%20You%20find%20%7Bfound%7D%20of%20the%20100%20real%20cases%2C%20and%20to%20do%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22it%20you%20send%20%7Bfalse_alarms%3A%2C%7D%20healthy%20people%20for%20more%20tests.%20That%20is%20about%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bper_real%3A%2C.0f%7D%20false%20alarms%20for%20every%20real%20case.%20The%20clinic%20would%20stop%20using%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22in%20a%20week%2C%20and%20then%20it%20catches%20nothing%20at%20all.%22%2C%20%22danger%22)%0A%20%20%20%20elif%20found%20%3C%2050%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Quiet%2C%20and%20not%20doing%20its%20job.**%20Only%20%7Bfalse_alarms%3A%2C%7D%20false%20alarms%2C%20which%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22clinic%20is%20happy%20about%2C%20but%20%7Bmissed%7D%20of%20the%20100%20ill%20people%20were%20told%20they%20were%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22fine.%22%2C%20%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**This%20is%20roughly%20the%20useful%20range.**%20%7Bfound%7D%20of%20100%20real%20cases%20found%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bfalse_alarms%3A%2C%7D%20false%20alarms%2C%20about%20%7Bper_real%3A%2C.0f%7D%20for%20each%20real%20case.%20Whether%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22that%20is%20acceptable%20is%20a%20decision%20for%20the%20people%20who%20staff%20the%20clinic%2C%20not%20for%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22you.%20Your%20job%20is%20to%20show%20them%20the%20choice%20in%20these%20terms.%22%2C%20%22success%22)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20the%20AUC%20number%20did%20not%20move%2C%20and%20why%20that%20matters%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20You%20will%20hear%20people%20judge%20a%20model%20by%20its%20**AUC**%2C%20usually%20somewhere%20around%200.97%2C%20and%20treat%0A%20%20%20%20that%20as%20the%20answer.%20Here%20is%20what%20it%20actually%20is.%0A%0A%20%20%20%20Slide%20the%20threshold%20from%20one%20end%20to%20the%20other%2C%20write%20down%20the%20pair%20of%20numbers%20you%20get%20at%20each%0A%20%20%20%20setting%2C%20and%20draw%20them%20as%20a%20curve.%20AUC%20is%20the%20area%20under%20that%20curve%3A%20one%20number%20summarising%0A%20%20%20%20every%20possible%20setting%20at%20once.%20That%20is%20why%20it%20did%20not%20change%20when%20you%20moved%20the%20slider.%20You%0A%20%20%20%20were%20moving%20along%20the%20curve%2C%20not%20changing%20it.%0A%0A%20%20%20%20And%20now%20the%20trap%2C%20which%20is%20specific%20to%20rare%20things.%0A%0A%20%20%20%20One%20axis%20of%20that%20curve%20is%20the%20share%20of%20healthy%20people%20wrongly%20flagged.%20With%20a%20million%20healthy%0A%20%20%20%20people%2C%20flagging%20a%20thousand%20of%20them%20is%200.1%20per%20cent%2C%20which%20draws%20as%20almost%20nothing.%20The%20curve%0A%20%20%20%20hugs%20the%20corner.%20The%20AUC%20comes%20out%20at%200.98%20and%20everybody%20relaxes.%0A%0A%20%20%20%20Meanwhile%20the%20clinic%20has%20a%20thousand%20false%20alarms%20and%20a%20hundred%20real%20cases%2C%20so%20nine%20out%20of%20ten%0A%20%20%20%20alarms%20are%20wrong.%20The%20number%20that%20shows%20this%20is%20precision%2C%20and%20AUC%20has%20quietly%20divided%20it%20away%0A%20%20%20%20by%20a%20million%20healthy%20people.%0A%0A%20%20%20%20So%20when%20the%20thing%20you%20care%20about%20is%20rare%2C%20look%20at%20precision%20against%20recall%20instead.%20Same%20idea%2C%0A%20%20%20%20same%20sweep%20of%20the%20threshold%2C%20but%20the%20enormous%20pile%20of%20healthy%20people%20is%20left%20out%20of%20the%0A%20%20%20%20arithmetic%2C%20and%20the%20picture%20stops%20flattering%20you.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q5%2C%20q5_render%2C%20q5_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20A%20fraud%20model%20reports%20an%20AUC%20of%200.98.%20Why%20is%20your%20next%20question%20not%20%5C%22great%2C%20ship%20it%3F%5C%22%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22AUC%20above%200.95%20is%20always%20overfitting%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20with%20millions%20of%20honest%20transactions%2C%20a%20tiny%20false%20alarm%20rate%20still%20means%20a%20huge%20pile%20of%20alerts%2C%20and%20AUC%20hides%20that%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22AUC%20only%20works%20for%20images%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20AUC%20changes%20when%20you%20move%20the%20threshold%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%22AUC%20divides%20false%20alarms%20by%20the%20number%20of%20honest%20transactions%2C%20and%20that%20number%20is%20%22%0A%20%20%20%20%20%20%20%20%22enormous.%20One%20alarm%20in%20a%20thousand%20honest%20transactions%20looks%20like%20nothing%20on%20the%20%22%0A%20%20%20%20%20%20%20%20%22curve%20and%20is%20thousands%20of%20alerts%20a%20day%20for%20the%20team%20reading%20them.%20Ask%20instead%3A%20at%20%22%0A%20%20%20%20%20%20%20%20%22the%20setting%20we%20would%20actually%20run%2C%20how%20many%20alerts%20a%20day%2C%20and%20what%20share%20of%20them%20%22%0A%20%20%20%20%20%20%20%20%22are%20real%3F%22%2C%0A%20%20%20%20%20%20%20%20key%3D%22q5%22%2C%0A%20%20%20%20)%0A%20%20%20%20q5%0A%20%20%20%20return%20q5%2C%20q5_render%2C%20q5_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q5%2C%20q5_render)%3A%0A%20%20%20%20q5_render(q5.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%207%3A%20Making%20the%20data%20less%20lopsided%2C%20without%20fooling%20yourself%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Suppose%20you%20do%20have%20enough%20real%20examples%2C%20and%20the%20ratio%20is%20still%20brutal.%20There%20are%20three%0A%20%20%20%20usual%20moves%2C%20and%20they%20are%20all%20simple.%0A%0A%20%20%20%20**Throw%20away%20some%20of%20the%20common%20class.**%20You%20had%20fifty%20million%20honest%20transactions%3B%20keep%0A%20%20%20%20two%20million.%20You%20lose%20some%20information%2C%20but%20honest%20transactions%20mostly%20repeat%20each%20other%2C%0A%20%20%20%20and%20training%20gets%20much%20faster.%0A%0A%20%20%20%20**Copy%20the%20rare%20class.**%20Duplicate%20the%20fraud%20cases%20until%20there%20are%20more%20of%20them.%20No%20new%0A%20%20%20%20information%20arrives%2C%20and%20a%20flexible%20model%20will%20happily%20memorise%20the%20copies.%0A%0A%20%20%20%20**Make%20new%20rare%20examples.**%20This%20is%20**SMOTE**.%20Take%20a%20fraud%20case%2C%20find%20another%20fraud%20case%0A%20%20%20%20that%20looks%20similar%2C%20and%20invent%20a%20new%20one%20somewhere%20on%20the%20line%20between%20them.%20Unlike%0A%20%20%20%20copying%2C%20this%20fills%20in%20a%20bit%20of%20the%20space%20around%20your%20real%20examples%20instead%20of%20stacking%0A%20%20%20%20them%20higher.%0A%0A%20%20%20%20**Or%20change%20what%20mistakes%20cost.**%20Leave%20the%20data%20alone%20and%20tell%20the%20training%20process%20that%0A%20%20%20%20missing%20a%20fraud%20hurts%20twenty%20times%20more%20than%20a%20false%20alarm.%20The%20model%20then%20leans%20towards%0A%20%20%20%20catching%20them.%20This%20is%20**cost-sensitive%20learning**%2C%20and%20it%20is%20often%20the%20tidiest%20option%2C%0A%20%20%20%20because%20it%20puts%20your%20real%20priorities%20in%20one%20place%20instead%20of%20hiding%20them%20in%20a%20resampling%0A%20%20%20%20step.%0A%0A%20%20%20%20Now%20the%20mistake.%20It%20is%20the%20most%20common%20serious%20mistake%20in%20this%20whole%20area%2C%20and%20it%20is%20easy%0A%20%20%20%20to%20make.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_when%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Balance%20the%20whole%20dataset%20first%2C%20then%20split%20into%20train%20and%20test%22%3A%20%22before%22%2C%0A%20%20%20%20%20%20%20%20%22Split%20first%2C%20then%20balance%20only%20the%20training%20part%22%3A%20%22after%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20resample%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D_when%2C%0A%20%20%20%20%20%20%20%20value%3Dpick(_when%2C%20saved.get(%22resample%22))%20or%20%22Balance%20the%20whole%20dataset%20first%2C%20then%20split%20into%20train%20and%20test%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22**When%20do%20you%20do%20the%20balancing%3F**%22%2C%0A%20%20%20%20)%0A%20%20%20%20resample%0A%20%20%20%20return%20(resample%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20resample)%3A%0A%20%20%20%20if%20resample.value%20%3D%3D%20%22before%22%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**This%20is%20the%20trap%2C%20and%20the%20score%20will%20not%20warn%20you.**%22%20%2B%20chr(10)%20%2B%20chr(10)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22You%20made%20new%20fraud%20examples%20out%20of%20real%20ones%2C%20then%20shuffled%20everything%20and%20cut%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22it%20in%20two.%20So%20a%20real%20case%20went%20into%20training%20and%20a%20near-copy%20of%20it%20went%20into%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22test%20set.%20The%20model%20has%20effectively%20seen%20the%20test%20paper.%22%20%2B%20chr(10)%20%2B%20chr(10)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22Your%20test%20score%20comes%20out%20at%20something%20like%20**0.98**%2C%20you%20present%20it%2C%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22live%20system%20runs%20at%20about%20**0.71**.%20Nothing%20failed.%20The%20number%20was%20simply%20never%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22measuring%20what%20you%20thought.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22danger%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Right%2C%20and%20it%20will%20feel%20worse.**%22%20%2B%20chr(10)%20%2B%20chr(10)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22The%20test%20set%20is%20untouched%20real%20data%2C%20still%20as%20lopsided%20as%20the%20world%20is.%20Your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22score%20comes%20out%20around%20**0.71**%2C%20and%20that%20is%20the%20number%20that%20survives%20contact%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22with%20production.%22%20%2B%20chr(10)%20%2B%20chr(10)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22The%20rule%20fits%20in%20one%20line%3A%20**split%20first%2C%20then%20do%20anything%20you%20like%20to%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22training%20half.**%20Never%20let%20a%20made-up%20example%2C%20or%20a%20copy%20of%20a%20real%20one%2C%20end%20up%20on%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20other%20side%20of%20that%20line.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Where%20SMOTE%20stops%20helping%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20It%20is%20a%20good%20tool%20and%20it%20is%20not%20magic.%0A%0A%20%20%20%20The%20line%20between%20two%20fraud%20cases%20can%20pass%20straight%20through%20honest%20territory%2C%20so%20the%20case%20you%0A%20%20%20%20invent%20in%20the%20middle%20may%20not%20be%20fraud%20at%20all.%20You%20have%20just%20taught%20the%20model%20something%20untrue.%0A%0A%20%20%20%20It%20also%20depends%20on%20the%20middle%20of%20two%20examples%20meaning%20something.%20For%20a%20few%20numeric%20columns%2C%0A%20%20%20%20fine.%20For%20images%2C%20text%2C%20or%20anything%20with%20hundreds%20of%20dimensions%2C%20the%20halfway%20point%20between%20two%0A%20%20%20%20examples%20is%20usually%20nothing%20at%20all.%0A%0A%20%20%20%20The%20people%20who%20invented%20it%20suggest%20throwing%20away%20some%20of%20the%20common%20class%20first%2C%20and%20then%0A%20%20%20%20filling%20in%20the%20rare%20one.%20And%20they%20wrote%20it%20for%20straightforward%20yes-or-no%20problems%20with%20numeric%0A%20%20%20%20columns%2C%20which%20is%20not%20every%20problem%20you%20will%20meet.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22How%20to%20choose%20between%20these%20in%20practice%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20Roughly%20in%20this%20order%2C%20and%20stop%20as%20soon%20as%20it%20works.%0A%0A%20%20%20%201.%20**Move%20the%20threshold.**%20Free%2C%20instant%2C%20reversible%2C%20and%20it%20often%20gets%20you%20most%20of%20the%20way.%0A%20%20%20%20%20%20%20Do%20this%20before%20anything%20else.%0A%20%20%20%202.%20**Change%20what%20mistakes%20cost**%20in%20training.%20One%20number%2C%20written%20down%20where%20the%20next%20person%0A%20%20%20%20%20%20%20can%20find%20it.%0A%20%20%20%203.%20**Throw%20away%20some%20of%20the%20common%20class**%2C%20if%20training%20is%20slow%20and%20the%20common%20class%20is%0A%20%20%20%20%20%20%20repetitive.%0A%20%20%20%204.%20**Invent%20new%20rare%20examples**%20last%2C%20carefully%2C%20and%20only%20inside%20the%20training%20half.%0A%0A%20%20%20%20Notice%20that%20the%20first%20two%20do%20not%20touch%20your%20data%20at%20all.%20Most%20teams%20reach%20for%20step%20four%20first%2C%0A%20%20%20%20which%20is%20backwards.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%208%3A%20Putting%20it%20to%20work%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20situation%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22We%20handle%20two%20million%20card%20payments%20a%20day.%20About%20one%20in%20a%20thousand%20is%20fraud%2C%20and%0A%20%20%20%20%20%20%20%20%20%20we%20have%20eighteen%20months%20of%20confirmed%20cases%2C%20so%20roughly%20twenty%20thousand%20of%20them.%20Our%0A%20%20%20%20%20%20%20%20%20%20model%20reports%20an%20AUC%20of%200.97.%20The%20fraud%20team%20is%20four%20people%2C%20and%20they%20can%20look%20at%0A%20%20%20%20%20%20%20%20%20%20about%20three%20hundred%20alerts%20a%20day%20between%20them.%20Right%20now%20they%20get%20four%20thousand%2C%20so%0A%20%20%20%20%20%20%20%20%20%20they%20ignore%20most%20of%20it.%20What%20do%20we%20do%3F%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Before%20you%20choose%2C%20notice%20what%20you%20already%20know.%20Twenty%20thousand%20real%20examples%20is%20plenty%2C%0A%20%20%20%20so%20this%20is%20not%20a%20data%20collection%20problem.%20The%20AUC%20is%20not%20the%20issue%20either%2C%20and%20neither%20is%0A%20%20%20%20the%20model.%20Four%20people%20can%20read%20three%20hundred%20alerts%20a%20day%2C%20and%20they%20are%20being%20handed%20four%0A%20%20%20%20thousand.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_saved%20%3D%20saved.get(%22decision%22)%20or%20%7B%7D%0A%20%20%20%20_choices%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Raise%20the%20threshold%20until%20about%20300%20alerts%20a%20day%20come%20out%2C%20and%20see%20what%20that%20costs%20in%20missed%20fraud%22%3A%20%22threshold%22%2C%0A%20%20%20%20%20%20%20%20%22Use%20SMOTE%20to%20balance%20the%20classes%20and%20retrain%22%3A%20%22smote%22%2C%0A%20%20%20%20%20%20%20%20%22Collect%20more%20fraud%20examples%20before%20doing%20anything%20else%22%3A%20%22collect%22%2C%0A%20%20%20%20%20%20%20%20%22Hire%20more%20analysts%20so%20the%20team%20can%20read%20all%20four%20thousand%22%3A%20%22hire%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20decision_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%7Bchoice%7D%0A%0A%20%20%20%20%20%20%20%20%7Bwhy%7D%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%3Dmo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D_choices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_choices%2C%20_saved.get(%22choice%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**What%20do%20you%20do%20first%3F**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20why%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22why%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22What%20made%20you%20pick%20that%2C%20and%20what%20would%20you%20need%20to%20see%20to%20change%20your%20mind%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Why%3F**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Submit%20my%20decision%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20one%20of%20the%20four.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20v%20or%20v.get(%22choice%22)%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20your%20reasoning%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20(v.get(%22why%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20decision_form%0A%20%20%20%20return%20(decision_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20decision_form.value%20or%20saved.get(%22decision%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Pick%20an%20answer%2C%20say%20why%2C%20then%20press%20**Submit%20my%20decision**.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20decision_choice%20%3D%20_answer%5B%22choice%22%5D%0A%20%20%20%20decision_why%20%3D%20_answer%5B%22why%22%5D.strip()%0A%20%20%20%20return%20decision_choice%2C%20decision_why%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20mo)%3A%0A%20%20%20%20_notes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22threshold%22%3A%20(%22The%20right%20first%20move%2C%20and%20it%20costs%20nothing.%20The%20team%20can%20read%20three%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22hundred%2C%20so%20build%20the%20system%20that%20gives%20them%20three%20hundred%2C%20and%20find%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22out%20what%20that%20does%20to%20the%20fraud%20you%20catch.%20You%20may%20lose%20less%20than%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fear%2C%20because%20the%20strongest%20alerts%20are%20where%20most%20of%20the%20real%20fraud%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22is.%20And%20you%20will%20finally%20have%20the%20conversation%20in%20the%20right%20terms%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22this%20many%20alerts%2C%20this%20much%20fraud%20caught%2C%20this%20much%20missed.%22)%2C%0A%20%20%20%20%20%20%20%20%22smote%22%3A%20(%22Reasonable%20instinct%2C%20wrong%20problem.%20Inventing%20more%20fraud%20examples%20helps%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22when%20you%20do%20not%20have%20enough%20to%20learn%20from.%20You%20have%20twenty%20thousand.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Nothing%20here%20says%20the%20model%20cannot%20tell%20fraud%20from%20honest%20payments%3B%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22complaint%20is%20that%20four%20people%20are%20handed%20four%20thousand%20alerts.%20Balancing%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20training%20data%20does%20not%20change%20how%20many%20alerts%20come%20out%20the%20other%20end.%22)%2C%0A%20%20%20%20%20%20%20%20%22collect%22%3A%20(%22This%20is%20the%20right%20answer%20to%20a%20different%20situation.%20With%20forty%20fraud%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cases%2C%20stop%20everything%20and%20go%20get%20more.%20With%20twenty%20thousand%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22eighteen%20months%20of%20history%2C%20more%20of%20the%20same%20will%20not%20change%20what%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22team%20sees%20tomorrow.%22)%2C%0A%20%20%20%20%20%20%20%20%22hire%22%3A%20(%22Sometimes%20genuinely%20correct%2C%20and%20worth%20pricing%20rather%20than%20dismissing.%20But%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22price%20it%20honestly%3A%20reading%20all%20four%20thousand%20needs%20roughly%20four%20times%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22team%2C%20every%20year%2C%20forever.%20Turning%20the%20threshold%20dial%20costs%20one%20afternoon.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Try%20the%20free%20thing%20first%2C%20then%20hire%20if%20the%20numbers%20still%20say%20you%20should.%22)%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20On%20your%20answer%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(_notes%5Bdecision_choice%5D)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20thing%20to%20take%20from%20this%20is%20the%20shape%20of%20it.%20The%20complaint%20was%20about%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22model%2C%20and%20the%20fix%20was%20about%20what%20the%20people%20downstream%20can%20actually%20do.%20Almost%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22every%20question%20in%20this%20lab%20turns%20out%20that%20way%20once%20you%20ask%20who%20is%20on%20the%20other%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22end%20of%20the%20answer.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_%20%3D%20decision_choice%0A%20%20%20%20_saved%20%3D%20saved.get(%22reflection%22)%20or%20%7B%7D%0A%20%20%20%20reflect_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%7Btakeaway%7D%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22takeaway%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22The%20number%20I%20would%20stop%20trusting%20is...%20because...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Last%20one.**%20Name%20one%20number%20you%20have%20reported%20in%20the%20past%2C%20or%20seen%20reported%2C%20that%20you%20would%20now%20ask%20a%20harder%20question%20about.%20What%20is%20the%20question%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Finish%20the%20lab%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20if%20v%20and%20(v.get(%22takeaway%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20a%20sentence%20or%20two%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20reflect_form%0A%20%20%20%20return%20(reflect_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20reflect_form%2C%20saved)%3A%0A%20%20%20%20_answer%20%3D%20reflect_form.value%20or%20saved.get(%22reflection%22)%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20_answer%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Answer%20the%20last%20question%20to%20finish.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20takeaway_text%20%3D%20_answer%5B%22takeaway%22%5D.strip()%0A%20%20%20%20done%20%3D%20True%0A%20%20%20%20return%20done%2C%20takeaway_text%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20decision_choice%2C%0A%20%20%20%20decision_why%2C%0A%20%20%20%20done%2C%0A%20%20%20%20labelled%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20positives%2C%0A%20%20%20%20q1%2C%0A%20%20%20%20q1_sum%2C%0A%20%20%20%20q2%2C%0A%20%20%20%20q2_sum%2C%0A%20%20%20%20q3%2C%0A%20%20%20%20q3_sum%2C%0A%20%20%20%20q4%2C%0A%20%20%20%20q4_sum%2C%0A%20%20%20%20q5%2C%0A%20%20%20%20q5_sum%2C%0A%20%20%20%20recall%2C%0A%20%20%20%20takeaway_text%2C%0A)%3A%0A%20%20%20%20_%20%3D%20done%0A%0A%20%20%20%20def%20_check(summary)%3A%0A%20%20%20%20%20%20%20%20text%2C%20ok%20%3D%20summary%0A%20%20%20%20%20%20%20%20if%20ok%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22%3Cem%3Enot%20answered%3C%2Fem%3E%22%0A%20%20%20%20%20%20%20%20mark%20%3D%20'%3Cspan%20class%3D%22tick%22%3Eright%3C%2Fspan%3E'%20if%20ok%20else%20'%3Cspan%20class%3D%22cross%22%3Ewrong%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20return%20f%22%7Btext%7D%20(%7Bmark%7D)%22%0A%0A%20%20%20%20_where%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22threshold%22%3A%20%22Move%20the%20threshold%20to%20fit%20the%20team%22%2C%0A%20%20%20%20%20%20%20%20%22smote%22%3A%20%22Balance%20the%20classes%20with%20SMOTE%22%2C%0A%20%20%20%20%20%20%20%20%22collect%22%3A%20%22Collect%20more%20fraud%20examples%20first%22%2C%0A%20%20%20%20%20%20%20%20%22hire%22%3A%20%22Hire%20more%20analysts%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Your%20Week%204%20report%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w4-report%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ERare%20things%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3Eyou%20left%20it%20at%20%7Blabelled%3A%2C%7D%20labelled%20rows%2C%20which%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7Bpositives%3A%2C.0f%7D%20examples%20of%20the%20rare%20case%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3ECancer%20screening%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3Eyour%20model%20caught%20%7Brecall%20*%20100%3A.0f%7D%20per%20cent%20of%20real%20cases%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EThe%20fraud%20team%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_where.get(decision_choice%2C%20decision_choice)%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhy%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Bdecision_why%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EA%20number%20you%20would%20question%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Btakeaway_text%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%201%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q1_sum(q1.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%202%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q2_sum(q2.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%203%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q3_sum(q3.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%204%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q4_sum(q4.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%205%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q5_sum(q5.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20QUIZ%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22A%20postcode%20field%20changes%20from%20a%20number%20to%20text%20and%20leading%20zeros%20vanish.%20%22%0A%20%20%20%20%20%20%20%20%20%22What%20happens%20to%20the%20system%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22It%20crashes%20on%20the%20next%20run%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22It%20keeps%20working%20and%20gets%20one%20region%20quietly%20wrong%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Training%20refuses%20to%20start%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22b%22)%2C%0A%20%20%20%20%20%20%20%20(%22You%20have%2040%20confirmed%20fraud%20cases%20in%20total.%20What%20should%20you%20do%20first%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Use%20SMOTE%20to%20make%20more%20of%20them%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Go%20and%20get%20more%20real%20cases%3B%2040%20is%20not%20enough%20to%20learn%20from%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22Lower%20the%20threshold%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22b%22)%2C%0A%20%20%20%20%20%20%20%20(%22When%20do%20you%20balance%20the%20classes%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Before%20splitting%2C%20so%20both%20halves%20are%20balanced%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22After%20splitting%2C%20on%20the%20training%20half%20only%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%22It%20makes%20no%20difference%22%3A%20%22c%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22b%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_saved%20%3D%20saved.get(%22quiz%22)%20or%20%7B%7D%0A%20%20%20%20quiz%20%3D%20mo.ui.array(%5B%0A%20%20%20%20%20%20%20%20mo.ui.radio(options%3D_options%2C%20label%3Df%22**%7B_n%7D.**%20%7B_question%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_options%2C%20_saved.get(str(_n)))%2C%20disabled%3Dlocked)%0A%20%20%20%20%20%20%20%20for%20_n%2C%20(_question%2C%20_options%2C%20_right)%20in%20enumerate(QUIZ%2C%201)%0A%20%20%20%20%5D)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Quick%20quiz%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22Three%20questions%20on%20what%20this%20lab%20showed.%20Saved%20and%20scored%20when%20you%20submit.%22)%2C%0A%20%20%20%20%20%20%20%20*%5Bquiz%5B_i%5D%20for%20_i%20in%20range(len(QUIZ))%5D%2C%0A%20%20%20%20%5D%2C%20gap%3D1)%0A%20%20%20%20return%20QUIZ%2C%20quiz%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(QUIZ%2C%20lab_sync%2C%20quiz)%3A%0A%20%20%20%20quiz_score%20%3D%20f%22%7Bsum(v%20%3D%3D%20q%5B2%5D%20for%20q%2C%20v%20in%20zip(QUIZ%2C%20quiz.value))%7D%2F%7Blen(QUIZ)%7D%22%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record(quiz%3D%7Bstr(n)%3A%20v%20for%20n%2C%20v%20in%20enumerate(quiz.value%2C%201)%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20quiz_score%3Dquiz_score)%0A%20%20%20%20return%20(quiz_score%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20lab_sync%2C%20locked%2C%20mo%2C%20quiz)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20_unanswered%20%3D%20sum(v%20is%20None%20for%20v%20in%20quiz.value)%0A%20%20%20%20submit_button%20%3D%20mo.ui.run_button(%0A%20%20%20%20%20%20%20%20label%3D%22Submit%20my%20work%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlab_sync%20is%20None%20or%20locked%20or%20_unanswered%20%3E%200%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%22Send%20your%20answers%20to%20your%20instructor%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Submit%20your%20work%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Your%20answers%20have%20been%20saving%20as%20you%20went.%20When%20you%20are%20happy%20with%20them%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22press%20the%20button%20to%20hand%20the%20lab%20in.%20You%20can%20change%20answers%20and%20submit%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22again%20until%20your%20instructor%20locks%20the%20lab.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(f%22%20**Answer%20the%20%7B_unanswered%7D%20quiz%20question%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B's'%20if%20_unanswered%20%3E%201%20else%20''%7D%20above%20first.**%22%20if%20_unanswered%20else%20%22%22)%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20submit_button%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(submit_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20lab_status%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20locked%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20quiz_score%2C%0A%20%20%20%20reflect_form%2C%0A%20%20%20%20saved%2C%0A%20%20%20%20submit_button%2C%0A)%3A%0A%20%20%20%20%23%20Runs%20when%20the%20button%20is%20pressed%2C%20and%20otherwise%20just%20says%20where%20things%20stand.%0A%20%20%20%20if%20lab_sync%20is%20None%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20copy%20of%20the%20lab%20is%20not%20connected%20to%20the%20course%20site%2C%20so%20it%20cannot%20be%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted%20from%20here.%22%2C%20%22neutral%22)%0A%20%20%20%20elif%20submit_button.value%3A%0A%20%20%20%20%20%20%20%20_reply%20%3D%20await%20lab_sync.submit(%0A%20%20%20%20%20%20%20%20%20%20%20%20reflection%3Dreflect_form.value%20or%20saved.get(%22reflection%22)%2C%20finished%3DTrue)%0A%20%20%20%20%20%20%20%20if%20_reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(f%22**Submitted.**%20Your%20instructor%20can%20see%20your%20work.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Quiz%3A%20**%7Bquiz_score%7D**.%22%2C%20%22success%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22locked%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted.**%20Your%20instructor%20has%20locked%20this%20lab.%22%2C%20%22danger%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Not%20submitted%3A**%20%7B_reply.get('error'%2C%20'something%20went%20wrong')%7D.%20Your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20are%20still%20saved.%20Press%20**Submit%20my%20work**%20to%20try%20again.%22%2C%20%22danger%22)%0A%20%20%20%20elif%20lab_sync.last_submitted%20or%20lab_status.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20_when%20%3D%20str(lab_sync.last_submitted%20or%20lab_status.get(%22submittedAt%22)%20or%20%22%22)%5B%3A10%5D%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Submitted%20on%20%7B_when%7D.**%20Changed%20something%20since%3F%20Press%20**Submit%20my%20work**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22again.%22%2C%20%22success%22)%0A%20%20%20%20elif%20locked%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22Your%20instructor%20has%20locked%20this%20lab%2C%20so%20it%20can%20no%20longer%20be%20submitted.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted%20yet.**%20Press%20**Submit%20my%20work**%20when%20you%20are%20done.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20alarms%2C%0A%20%20%20%20caught%2C%0A%20%20%20%20coverage%2C%0A%20%20%20%20decision_form%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20prevalence%2C%0A%20%20%20%20q1%2C%0A%20%20%20%20q2%2C%0A%20%20%20%20q3%2C%0A%20%20%20%20q4%2C%0A%20%20%20%20q5%2C%0A%20%20%20%20resample%2C%0A%20%20%20%20rows_labelled%2C%0A%20%20%20%20threshold%2C%0A)%3A%0A%20%20%20%20%23%20Everything%20on%20the%20page%20from%20the%20start.%20A%20form's%20value%20is%20None%20until%20it%20is%0A%20%20%20%20%23%20submitted%20in%20this%20visit%2C%20so%20it%20is%20only%20recorded%20once%20it%20has%20one.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record(%0A%20%20%20%20%20%20%20%20%20%20%20%20q1%3Dq1.value%2C%20q2%3Dq2.value%2C%20q3%3Dq3.value%2C%20q4%3Dq4.value%2C%20q5%3Dq5.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20coverage%3Dcoverage.value%2C%20rows%3Drows_labelled.value%2C%20prevalence%3Dprevalence.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20caught%3Dcaught.value%2C%20alarms%3Dalarms.value%2C%20threshold%3Dthreshold.value%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20resample%3Dresample.value%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20decision_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(decision%3Ddecision_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(lab_sync%2C%20reflect_form)%3A%0A%20%20%20%20%23%20The%20last%20question%20only%20exists%20once%20the%20decision%20is%20in.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%20and%20reflect_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record(reflection%3Dreflect_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Check%20yourself%22)%2C%0A%20%20%20%20%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20does%20a%20broken%20piece%20of%20data%20not%20make%20anything%20crash%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20nothing%20in%20the%20machine%20knows%20what%20the%20data%20is%20supposed%20to%20mean.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20postcode%20that%20lost%20its%20leading%20zero%20is%20still%20a%20valid%20piece%20of%20text%2C%20so%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22every%20check%20passes%20and%20training%20runs%20normally.%20The%20only%20thing%20that%20can%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22catch%20it%20is%20a%20check%20somebody%20wrote%20on%20purpose%2C%20saying%20what%20good%20data%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22looks%20like%3A%20five%20digits%2C%20this%20range%2C%20roughly%20this%20mix.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Your%20data%20was%20collected%20the%20easy%20way.%20What%20has%20that%20cost%20you%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Coverage%20of%20exactly%20the%20situations%20you%20are%20worst%20at.%20Test%20fleets%20drive%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22where%20the%20weather%20is%20good%2C%20so%20there%20is%20little%20rain%20and%20no%20snow%2C%20and%20that%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22is%20where%20the%20car%20is%20least%20able%20to%20cope.%20No%20model%20choice%20fixes%20it%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22because%20the%20examples%20are%20not%20there.%20The%20fix%20is%20to%20go%20and%20get%20the%20data%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22you%20are%20missing%2C%20on%20purpose.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20is%20the%20ratio%20less%20useful%20than%20the%20count%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20learning%20needs%20examples%2C%20not%20proportions.%20A%20thousand%20to%20one%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22comfortable%20if%20that%20means%20ten%20million%20rare%20cases.%20Ten%20to%20one%20is%20hopeless%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22if%20it%20means%20forty.%20Count%20first%3A%20under%20about%20fifty%2C%20no%20technique%20saves%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22you%20and%20the%20job%20is%20to%20go%20and%20collect%20more.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20model%20is%2099%20per%20cent%20accurate.%20What%20do%20you%20ask%20next%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22What%20does%20the%20do-nothing%20answer%20score%3F%20If%20one%20per%20cent%20of%20cases%20are%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fraud%2C%20then%20always%20saying%20honest%20scores%2099%20per%20cent.%20Then%20ask%20the%20two%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22real%20questions%3A%20of%20the%20fraud%20that%20happened%2C%20how%20much%20did%20we%20catch%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22of%20the%20alarms%20we%20raised%2C%20how%20many%20were%20real.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20does%20moving%20the%20threshold%20count%20as%20engineering%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20it%20is%20the%20cheapest%20change%20with%20the%20largest%20effect%20on%20what%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22people%20downstream%20experience.%20It%20costs%20one%20line%20and%20can%20be%20undone%20in%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22minute.%20It%20decides%20how%20many%20alerts%20a%20day%20a%20team%20of%20four%20receives%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22whether%20they%20keep%20reading%20them%20at%20all.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20must%20balancing%20happen%20after%20the%20split%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20copies%20and%20invented%20examples%20made%20before%20the%20split%20land%20on%20both%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sides%20of%20it.%20The%20model%20then%20sees%20near-copies%20of%20the%20test%20data%20during%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22training%2C%20and%20the%20score%20you%20report%20is%20measuring%20memory%20rather%20than%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ability.%20Split%20first%3B%20do%20what%20you%20like%20to%20the%20training%20half.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A