Week 3: The Constraint You Found Too Late

Week 3: The Constraint You Found Too Late - CSC/EE 8001

import%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Week%203%20-%20The%20Constraint%20You%20Found%20Too%20Late%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20json%0A%20%20%20%20import%20numpy%20as%20np%0A%0A%20%20%20%20return%20json%2C%20mo%2C%20np%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(json%2C%20mo)%3A%0A%20%20%20%20%23%20Progress%20saving.%20On%20the%20course%20site%2C%20labs%2Fgate%2Fgate.js%20signs%20the%20student%20in%0A%20%20%20%20%23%20and%20tags%20this%20tab%20with%20an%20%22rl%22%20query%20parameter.%20The%20notebook%20runs%20in%20a%20web%0A%20%20%20%20%23%20worker%2C%20so%20it%20talks%20to%20that%20script%20over%20a%20BroadcastChannel%20named%20after%20the%0A%20%20%20%20%23%20tag%2C%20and%20the%20script%20makes%20the%20API%20calls.%20Opened%20any%20other%20way%20(marimo%20edit%2C%0A%20%20%20%20%23%20a%20plain%20export)%20there%20is%20no%20tag%20and%20nothing%20is%20saved.%0A%20%20%20%20import%20sys%20as%20_sys%0A%0A%20%20%20%20class%20LabSync%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20tab)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20js%20import%20BroadcastChannel%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.ffi%20import%20create_proxy%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel%20%3D%20BroadcastChannel.new(%22radiant-lab-%22%20%2B%20tab)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._listener%20%3D%20create_proxy(self._receive)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.onmessage%20%3D%20self._listener%0A%0A%20%20%20%20%20%20%20%20def%20_receive(self%2C%20event)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20json.loads(event.data)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20(TypeError%2C%20ValueError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%0A%20%20%20%20%20%20%20%20%20%20%20%20waiting%20%3D%20self._waiting.pop(message.get(%22id%22)%2C%20None)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20waiting%20is%20not%20None%20and%20not%20waiting.done()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20waiting.set_result(message)%0A%0A%20%20%20%20%20%20%20%20def%20_send(self%2C%20op%2C%20message_id%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20%7B%22id%22%3A%20message_id%2C%20%22op%22%3A%20op%2C%20%22from%22%3A%20%22notebook%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20message.update(fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.postMessage(json.dumps(message))%0A%0A%20%20%20%20%20%20%20%20async%20def%20_request(self%2C%20op%2C%20timeout%3DNone%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20asyncio%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20message_id%20%3D%20uuid.uuid4().hex%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20asyncio.get_event_loop().create_future()%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%5Bmessage_id%5D%20%3D%20reply%0A%20%20%20%20%20%20%20%20%20%20%20%20self._send(op%2C%20message_id%2C%20**fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20await%20(reply%20if%20timeout%20is%20None%20else%20asyncio.wait_for(reply%2C%20timeout))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20asyncio.TimeoutError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%22ok%22%3A%20False%2C%20%22error%22%3A%20%22the%20page%20did%20not%20answer%20in%20time%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._waiting.pop(message_id%2C%20None)%0A%0A%20%20%20%20%20%20%20%20async%20def%20load(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Wait%20for%20sign-in%2C%20then%20return%20what%20this%20student%20saved%20before.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22load%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20dict(reply.get(%22state%22)%20or%20%7B%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20%20%20%20%20def%20record(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Remember%20these%20answers%3B%20the%20page%20saves%20them%20a%20moment%20later.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20changed%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20k%20not%20in%20self.state%20or%20self.state%5Bk%5D%20!%3D%20v%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20changed%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(changed)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._send(%22save%22%2C%20uuid.uuid4().hex%2C%20state%3Dself.state)%0A%0A%20%20%20%20%20%20%20%20async%20def%20submit(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Save%20everything%20now%20and%20mark%20the%20lab%20as%20submitted.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(answers)%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22submit%22%2C%20timeout%3D45%2C%20state%3Dself.state)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20reply.get(%22submittedAt%22)%20or%20%22today%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20def%20pick(options%2C%20value)%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20label%20a%20radio%20should%20show%20for%20a%20saved%20value%2C%20or%20None.%22%22%22%0A%20%20%20%20%20%20%20%20return%20next((label%20for%20label%2C%20v%20in%20options.items()%20if%20v%20%3D%3D%20value)%2C%20None)%0A%0A%20%20%20%20lab_sync%20%3D%20None%0A%20%20%20%20lab_status%20%3D%20%7B%7D%0A%20%20%20%20saved%20%3D%20%7B%7D%0A%20%20%20%20locked%20%3D%20False%0A%20%20%20%20_tab%20%3D%20mo.query_params().get(%22rl%22)%20if%20%22pyodide%22%20in%20_sys.modules%20else%20None%0A%20%20%20%20if%20_tab%3A%0A%20%20%20%20%20%20%20%20lab_sync%20%3D%20LabSync(_tab)%0A%20%20%20%20%20%20%20%20lab_status%20%3D%20await%20lab_sync.load()%0A%20%20%20%20%20%20%20%20saved%20%3D%20dict(lab_sync.state)%0A%20%20%20%20%20%20%20%20locked%20%3D%20bool(lab_status.get(%22locked%22))%0A%20%20%20%20return%20lab_status%2C%20lab_sync%2C%20locked%2C%20pick%2C%20saved%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20def%20ask(prompt%2C%20options%2C%20correct%2C%20explain%2C%20key)%3A%0A%20%20%20%20%20%20%20%20%22%22%22A%20quick%20check%20you%20can%20answer%20as%20many%20times%20as%20you%20like.%0A%0A%20%20%20%20%20%20%20%20Returns%20(radio%2C%20render%2C%20summarise).%20Pass%20radio.value%20to%20render()%3B%20the%0A%20%20%20%20%20%20%20%20report%20uses%20summarise()%20to%20include%20the%20answer%20at%20the%20end%20of%20the%20lab.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20labels%20%3D%20%7Bvalue%3A%20label%20for%20label%2C%20value%20in%20options.items()%7D%0A%20%20%20%20%20%20%20%20BREAK%20%3D%20chr(10)%20%2B%20chr(10)%0A%0A%20%20%20%20%20%20%20%20radio%20%3D%20mo.ui.radio(options%3Doptions%2C%20label%3Dprompt%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(options%2C%20saved.get(key))%2C%20disabled%3Dlocked)%0A%0A%20%20%20%20%20%20%20%20def%20render(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22Pick%20an%20answer%20and%20I%20will%20explain%20it.%22)%2C%20kind%3D%22neutral%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ok%20%3D%20value%20%3D%3D%20correct%0A%20%20%20%20%20%20%20%20%20%20%20%20body%20%3D%20(%22**Correct.**%20%22%20if%20ok%20else%20%22**Not%20quite.**%20%22)%20%2B%20explain%5Bvalue%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20body%20%2B%3D%20BREAK%20%2B%20f%22The%20answer%20is%20*%7Blabels%5Bcorrect%5D%7D*.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(body)%2C%20kind%3D%22success%22%20if%20ok%20else%20%22warn%22)%0A%0A%20%20%20%20%20%20%20%20def%20summarise(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22not%20answered%22%2C%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20labels%5Bvalue%5D%2C%20value%20%3D%3D%20correct%0A%0A%20%20%20%20%20%20%20%20return%20radio%2C%20render%2C%20summarise%0A%0A%20%20%20%20return%20(ask%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20LAB_CSS%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20%20%20%20%20.w3-hero%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%206px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fffef8%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-eyebrow%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.08em%3B%20text-transform%3A%20uppercase%3B%20margin%3A%200%200%208px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-hero%20h1%20%7B%20margin%3A%200%200%208px%3B%20font-size%3A%201.75rem%3B%20color%3A%20%23111%3B%20line-height%3A%201.2%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-hero%20p.sub%20%7B%20margin%3A%200%3B%20color%3A%20%233a3a3a%3B%20font-size%3A%201.02rem%3B%20line-height%3A%201.65%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-chips%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%208px%3B%20margin-top%3A%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-chip%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fff3cc%3B%20color%3A%20%2362490a%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%20999px%3B%20padding%3A%204px%2011px%3B%20font-size%3A%20.72rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20letter-spacing%3A%20.04em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-chip-plain%20%7B%20border-color%3A%20%23e0e0e0%3B%20background%3A%20%23f4f4f4%3B%20color%3A%20%234a4a4a%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w3-split%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%201.6fr%201fr%3B%20gap%3A%2024px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20start%3B%20margin%3A%204px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.w3-split%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-split%20%3E%20.body%20p%20%7B%20margin%3A%200%200%2012px%3B%20color%3A%20%232f2f2f%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%201rem%3B%20line-height%3A%201.7%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-split%20%3E%20.body%20p%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w3-aside%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%204px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fcfcfc%3B%20padding%3A%2015px%2017px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-aside%20h4%20%7B%20margin%3A%200%200%2010px%3B%20padding-left%3A%2024px%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20letter-spacing%3A%20.06em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-aside%20ol%20%7B%20margin%3A%200%3B%20padding-left%3A%2024px%3B%20list-style%3A%20decimal%20outside%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-aside%20li%20%7B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.91rem%3B%20line-height%3A%201.5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-bottom%3A%209px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-aside%20li%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-aside%20li%3A%3Amarker%20%7B%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-aside%20.meta%20%7B%20border-top%3A%201px%20solid%20%23ececec%3B%20margin-top%3A%2013px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding-top%3A%2011px%3B%20padding-left%3A%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-aside%20.meta%20div%20%7B%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2010px%3B%20font-size%3A%20.85rem%3B%20margin-bottom%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-aside%20.meta%20div%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-aside%20.meta%20dt%20%7B%20color%3A%20%236f6f6f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-aside%20.meta%20dd%20%7B%20margin%3A%200%3B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20text-align%3A%20right%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w3-question%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fffdf5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2014px%2018px%3B%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-question%20.lbl%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-question%20p%20%7B%20margin%3A%206px%200%200%3B%20color%3A%20%23111%3B%20font-size%3A%201.06rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20font-style%3A%20italic%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%2F*%20The%20five%20stages%2C%20shown%20as%20a%20row%20that%20loops%20back%20on%20itself.%20*%2F%0A%20%20%20%20%20%20%20%20%20%20.w3-stages%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%208px%3B%20align-items%3A%20stretch%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%2016px%200%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stage%20%7B%20flex%3A%201%201%20150px%3B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23dcdcdc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2010px%3B%20background%3A%20%23fff%3B%20padding%3A%2011px%2013px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stage%20.n%20%7B%20color%3A%20%239a9a9a%3B%20font-size%3A%20.7rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stage%20.s%20%7B%20display%3A%20block%3B%20color%3A%20%23111%3B%20font-size%3A%20.93rem%3B%20font-weight%3A%20700%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-top%3A%202px%3B%20line-height%3A%201.3%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stage%20.tag%20%7B%20display%3A%20block%3B%20margin-top%3A%207px%3B%20font-size%3A%20.74rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20letter-spacing%3A%20.04em%3B%20text-transform%3A%20uppercase%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%239a9a9a%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stage.hit%20%7B%20border-top-color%3A%20%23f1b82d%3B%20background%3A%20%23fffdf5%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stage.hit%20.tag%20%7B%20color%3A%20%236a5314%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stage.origin%20%7B%20border-top-color%3A%20%23c62828%3B%20background%3A%20%23fefafa%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stage.origin%20.tag%20%7B%20color%3A%20%23c62828%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-loop%20%7B%20margin%3A%200%3B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.85rem%3B%20text-align%3A%20center%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A%201px%20dashed%20%23dcdcdc%3B%20padding-top%3A%208px%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%2F*%20Horizontal%20bars%2C%20reused%20for%20the%20budget%20gauge%20and%20the%20drift%20readout.%20*%2F%0A%20%20%20%20%20%20%20%20%20%20.w3-bars%20%7B%20display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%2010px%3B%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-bar%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20170px%201fr%20110px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20center%3B%20gap%3A%2012px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20640px)%20%7B%20.w3-bar%20%7B%20grid-template-columns%3A%20110px%201fr%2086px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-bar%20.t%20%7B%20color%3A%20%234a4a4a%3B%20font-size%3A%20.87rem%3B%20line-height%3A%201.3%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-bar%20.track%20%7B%20display%3A%20block%3B%20background%3A%20%23f4f4f4%3B%20border%3A%201px%20solid%20%23ececec%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%206px%3B%20height%3A%2028px%3B%20overflow%3A%20hidden%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20position%3A%20relative%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%2F*%20A%20span%20is%20inline%20by%20default%2C%20so%20it%20ignores%20height%20and%20percentage%20width.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20Both%20of%20these%20have%20to%20be%20blocks%20or%20the%20bar%20renders%20empty.%20*%2F%0A%20%20%20%20%20%20%20%20%20%20.w3-bar%20.fill%20%7B%20display%3A%20block%3B%20height%3A%20100%25%3B%20background%3A%20%23c9c9c9%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-bar.good%20.fill%20%7B%20background%3A%20%237cb47f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-bar.bad%20.fill%20%20%7B%20background%3A%20%23d98080%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-bar%20.limit%20%7B%20position%3A%20absolute%3B%20top%3A%200%3B%20bottom%3A%200%3B%20width%3A%202px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-bar%20.n%20%7B%20text-align%3A%20right%3B%20font-weight%3A%20800%3B%20font-size%3A%20.9rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-note%20%7B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.85rem%3B%20margin%3A%202px%200%200%3B%20line-height%3A%201.5%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%2F*%20Two-column%20compare%2C%20used%20for%20system-versus-requirement.%20*%2F%0A%20%20%20%20%20%20%20%20%20%20.w3-two%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%201fr%201fr%3B%20gap%3A%2016px%3B%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20760px)%20%7B%20.w3-two%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-col%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%2014px%2016px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-col%20h4%20%7B%20margin%3A%200%200%204px%3B%20font-size%3A%201rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-col%20p.lead%20%7B%20margin%3A%200%200%2010px%3B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.84rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-col%20ul%20%7B%20margin%3A%200%3B%20padding-left%3A%2020px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-col%20li%20%7B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.89rem%3B%20line-height%3A%201.5%3B%20margin-bottom%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-col%20li%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%2F*%20The%20hand-off%20checklist%20verdict.%20*%2F%0A%20%20%20%20%20%20%20%20%20%20.w3-parts%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(4%2C%201fr)%3B%20gap%3A%2010px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%2014px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20820px)%20%7B%20.w3-parts%20%7B%20grid-template-columns%3A%201fr%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-part%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%205px%20solid%20%23dcdcdc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2010px%3B%20background%3A%20%23fafafa%3B%20padding%3A%2011px%2013px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-part.on%20%7B%20border-left-color%3A%20%232e7d32%3B%20background%3A%20%23fff%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-part%20h5%20%7B%20margin%3A%200%200%203px%3B%20font-size%3A%20.9rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-part%20p%20%7B%20margin%3A%200%3B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.8rem%3B%20line-height%3A%201.45%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-part.on%20p%20%7B%20color%3A%20%233a3a3a%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%2F*%20The%20weekly%20workflow%2C%20drawn%20as%20a%20DAG.%20*%2F%0A%20%20%20%20%20%20%20%20%20%20.w3-dag%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20align-items%3A%20center%3B%20gap%3A%206px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%2012px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-dag%20.pair%20%7B%20display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%206px%3B%20flex%3A%201%201%20150px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-self%3A%20stretch%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-arrow%20%7B%20align-self%3A%20center%3B%20color%3A%20%23c4c4c4%3B%20font-weight%3A%20800%3B%20font-size%3A%201.1rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-node%20%7B%20flex%3A%201%201%20150px%3B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%205px%20solid%20%23c9c9c9%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2010px%3B%20background%3A%20%23fff%3B%20padding%3A%209px%2011px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-node%20.id%20%7B%20color%3A%20%239a9a9a%3B%20font-size%3A%20.7rem%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-node%20.lab%20%7B%20display%3A%20block%3B%20color%3A%20%23111%3B%20font-size%3A%20.86rem%3B%20font-weight%3A%20700%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.3%3B%20margin-top%3A%201px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-node%20.st%20%7B%20display%3A%20block%3B%20margin-top%3A%206px%3B%20font-size%3A%20.73rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.03em%3B%20text-transform%3A%20uppercase%3B%20color%3A%20%238a8a8a%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-node.ran%20%20%20%20%7B%20border-left-color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-node.ran%20.st%20%7B%20color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-node.failed%20%7B%20border-left-color%3A%20%23c62828%3B%20background%3A%20%23fefafa%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-node.failed%20.st%20%7B%20color%3A%20%23c62828%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-node.skipped%20%7B%20background%3A%20%23fafafa%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-node.stale%20%20%7B%20border-left-color%3A%20%23d98f00%3B%20background%3A%20%23fffdf5%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-node.stale%20.st%20%7B%20color%3A%20%238a5c00%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-runhead%20%7B%20margin%3A%2014px%200%200%3B%20font-size%3A%20.76rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20color%3A%20%236a5314%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%2F*%20The%20server-health%20panel%20in%20the%20monitoring%20part.%20*%2F%0A%20%20%20%20%20%20%20%20%20%20.w3-status%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(3%2C%201fr)%3B%20gap%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%2014px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20720px)%20%7B%20.w3-status%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stat%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2010px%3B%20background%3A%20%23fff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2012px%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stat%20.k%20%7B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.05em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stat%20.v%20%7B%20display%3A%20block%3B%20color%3A%20%23111%3B%20font-size%3A%201.3rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.25%3B%20margin-top%3A%203px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stat%20.why%20%7B%20display%3A%20block%3B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.78rem%3B%20margin-top%3A%204px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stat.green%20.v%20%7B%20color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-stat.red%20.v%20%7B%20color%3A%20%23c62828%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w3-report%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%204px%2020px%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2020px%20rgba(17%2C%2017%2C%2017%2C%20.06)%3B%20margin%3A%206px%200%204px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-report%20.row%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20190px%201fr%3B%20gap%3A%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2012px%200%3B%20border-bottom%3A%201px%20solid%20%23f2f2f2%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20baseline%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-report%20.row%3Alast-child%20%7B%20border-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20720px)%20%7B%20.w3-report%20.row%20%7B%20grid-template-columns%3A%201fr%3B%20gap%3A%203px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-report%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-report%20.v%20%7B%20color%3A%20%231c1c1c%3B%20font-size%3A%20.99rem%3B%20line-height%3A%201.55%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-report%20.tick%20%7B%20color%3A%20%232e7d32%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-report%20.cross%20%7B%20color%3A%20%23c62828%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w3-report%20.quote%20%7B%20border-left%3A%203px%20solid%20%23f1b82d%3B%20padding-left%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23333%3B%20font-style%3A%20italic%3B%20%7D%0A%20%20%20%20%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20LAB_CSS%0A%20%20%20%20return%20(LAB_CSS%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-hero%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w3-eyebrow%22%3ECSC%2FEE%208001%20%26middot%3B%20Week%203%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ch1%3EThe%20Constraint%20You%20Found%20Too%20Late%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22sub%22%3EFour%20months%20of%20work%2C%20a%20model%20that%20scores%2095%20per%20cent%2C%20and%20a%20tablet%0A%20%20%20%20%20%20%20%20%20%20it%20was%20never%20going%20to%20fit%20on.%20This%20lab%20is%20about%20why%20that%20happens%2C%20what%20it%20costs%20to%0A%20%20%20%20%20%20%20%20%20%20undo%2C%20and%20how%20the%20stages%20of%20a%20project%20are%20supposed%20to%20stop%20it.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-chips%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w3-chip%22%3EStages%20and%20the%20loop%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w3-chip%22%3EConstraints%20travelling%20backwards%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w3-chip%22%3EFailures%20that%20never%20crash%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w3-chip-plain%20w3-chip%22%3ENothing%20here%20is%20marked%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Ch2%3EBefore%20we%20start%3C%2Fh2%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-split%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22body%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EWeek%202%20ended%20on%20a%20hard%20edge.%20A%20model%20either%20fits%20on%20the%20machine%20you%20have%20or%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20does%20not%2C%20and%20if%20it%20does%20not%2C%20you%20make%20the%20model%20smaller%20or%20you%20get%20a%20bigger%0A%20%20%20%20%20%20%20%20%20%20%20%20machine.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThat%20sounds%20like%20a%20decision%20you%20make%20at%20the%20end%2C%20once%20the%20model%20exists.%20It%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20not.%20%3Cstrong%3EThe%20moment%20you%20agree%20to%20make%20the%20model%20smaller%2C%20you%20have%20changed%20what%0A%20%20%20%20%20%20%20%20%20%20%20%20the%20training%20run%20has%20to%20produce%2C%20which%20changes%20what%20counts%20as%20a%20good%20enough%0A%20%20%20%20%20%20%20%20%20%20%20%20result%2C%20which%20can%20change%20what%20data%20you%20needed%20in%20the%20first%20place.%3C%2Fstrong%3E%20A%0A%20%20%20%20%20%20%20%20%20%20%20%20decision%20taken%20on%20the%20last%20day%20of%20the%20project%20reaches%20all%20the%20way%20back%20to%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20first%20one.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThis%20week%20is%20about%20that%20reach.%20Where%20the%20stages%20of%20an%20ML%20project%20are%2C%20which%0A%20%20%20%20%20%20%20%20%20%20%20%20direction%20trouble%20travels%20along%20them%2C%20and%20what%20each%20stage%20has%20to%20hand%20the%20next%20one%0A%20%20%20%20%20%20%20%20%20%20%20%20so%20that%20a%20problem%20gets%20caught%20by%20a%20machine%20instead%20of%20by%20a%20customer.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Caside%20class%3D%22w3-aside%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EBy%20the%20end%20you%20can%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Col%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EName%20the%20five%20stages%2C%20and%20say%20what%20makes%20them%20a%20loop%20rather%20than%20a%20line.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ETrace%20a%20deployment%20constraint%20backwards%20to%20the%20stages%20that%20have%20to%20absorb%20it.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ESay%20what%20one%20stage%20owes%20the%20next%2C%20and%20what%20breaks%20when%20it%20is%20not%20handed%20over.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EExplain%20how%20a%20system%20can%20fail%20while%20every%20log%20line%20says%20it%20is%20healthy.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ESay%20what%20a%20scheduler%20does%20that%20a%20timer%20cannot.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fol%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22meta%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3ETime%3C%2Fdt%3E%3Cdd%3Eabout%2045%20min%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EBefore%20this%3C%2Fdt%3E%3Cdd%3EWeeks%201%20and%202%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EMarked%3F%3C%2Fdt%3E%3Cdd%3Eno%2C%20the%20quiz%20is%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Faside%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20question%20this%20lab%20answers%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22The%20model%20is%20finished%20and%20it%20does%20not%20fit.%20Whose%20problem%20is%20that%2C%20and%20when%20did%0A%20%20%20%20%20%20%20%20%20%20it%20become%20one%3F%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%201%3A%20Four%20months%2C%20and%20a%20number%20nobody%20asked%20for%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20A%20team%20spends%20four%20months%20building%20a%20classifier%20that%20reads%20photographs%20of%20the%20back%20of%20the%0A%20%20%20%20eye%20and%20flags%20diabetic%20retinopathy.%20It%20is%20good%20work.%20On%20the%20test%20set%20it%20scores%20**95%20per%0A%20%20%20%20cent%20accuracy**%2C%20with%20an%20AUC%20of%20**0.98**.%20Those%20are%20numbers%20you%20would%20be%20pleased%20to%20put%20in%0A%20%20%20%20a%20paper.%0A%0A%20%20%20%20They%20built%20it%20the%20way%20everyone%20builds%20these%20now.%20Take%20a%20large%20pretrained%20vision%20model%2C%0A%20%20%20%20fine-tune%20it%20on%20fundus%20photographs%2C%20and%20run%20it%20at%20high%20resolution%2C%20because%20the%20lesions%0A%20%20%20%20that%20matter%20are%20a%20few%20pixels%20across%20and%20disappear%20if%20you%20shrink%20the%20image.%20The%20backbone%0A%20%20%20%20they%20picked%20has%20about%20**a%20billion%20parameters**.%0A%0A%20%20%20%20Last%20week's%20sum%20tells%20you%20what%20that%20weighs.%20A%20billion%20numbers%20at%20four%20bytes%20each%20is%0A%20%20%20%20**4%20GB**%2C%20before%20the%20model%20has%20done%20anything%20at%20all.%0A%0A%20%20%20%20The%20plan%20is%20to%20put%20it%20on%20a%20tablet%20and%20give%20it%20to%20rural%20clinics%2C%20where%20there%20is%20no%0A%20%20%20%20ophthalmologist%20within%20a%20hundred%20miles%20and%20a%20screening%20tool%20would%20genuinely%20change%20what%0A%20%20%20%20happens%20to%20people.%20The%20clinics%20have%20tablets%20already.%20The%20programme%20bought%20them%20in%20bulk%2C%0A%20%20%20%20two%20years%20ago%2C%20at%20the%20price%20you%20pay%20when%20you%20are%20buying%20three%20hundred%20of%20something.%0A%0A%20%20%20%20Then%20the%20deployment%20engineer%20opens%20the%20file.%0A%0A%20%20%20%20%3E%20%22Those%20tablets%20have%202%20GB%20of%20memory%2C%20and%20Android%20keeps%20most%20of%20it.%20One%20app%20gets%20about%0A%20%20%20%20%3E%20**512%20MB**%20before%20the%20system%20starts%20killing%20whatever%20is%20using%20the%20most.%20Your%20model%20needs%0A%20%20%20%20%3E%204%20GB.%22%0A%0A%20%20%20%20That%20is%20not%20a%20near%20miss.%20It%20is%20**eight%20times%20over**%2C%20and%20no%20amount%20of%20care%20in%20the%20serving%0A%20%20%20%20code%20closes%20it.%0A%0A%20%20%20%20Now%2C%20two%20questions%2C%20and%20the%20gap%20between%20them%20is%20what%20this%20course%20is%20about.%0A%0A%20%20%20%20-%20**Is%20the%20model%20good%3F**%20Yes.%20Unambiguously.%20The%20metrics%20are%20real%20and%20the%20work%20was%20sound.%0A%20%20%20%20-%20**Is%20the%20system%20good%3F**%20No.%20It%20cannot%20run.%20Nobody%20will%20ever%20be%20screened%20by%20it.%0A%0A%20%20%20%20Both%20statements%20are%20true%20at%20once%2C%20and%20that%20is%20the%20uncomfortable%20part.%20Nothing%20in%20the%0A%20%20%20%20modelling%20work%20was%20done%20badly.%20The%20failure%20is%20in%20the%20**order%20the%20questions%20were%20asked**.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q1%2C%20q1_render%2C%20q1_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20At%20what%20point%20in%20the%20project%20should%20the%20512%20MB%20limit%20have%20started%20affecting%20decisions%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22At%20deployment%2C%20which%20is%20when%20the%20tablet%20was%20actually%20available%20to%20test%20on%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22During%20evaluation%2C%20as%20one%20more%20metric%20to%20report%20alongside%20accuracy%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Before%20any%20data%20was%20collected%2C%20because%20it%20decides%20what%20counts%20as%20a%20good%20model%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20should%20not%3A%20get%20the%20accuracy%20first%2C%20then%20find%20hardware%20that%20can%20run%20it%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%22%3A%20(%22That%20is%20when%20it%20*was*%20found%2C%20and%20that%20is%20the%20whole%20problem.%20By%20then%20four%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22months%20of%20choices%20had%20already%20been%20made%20on%20the%20assumption%20that%20size%20did%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22not%20matter.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b%22%3A%20(%22Better%2C%20but%20still%20late.%20By%20evaluation%20the%20architecture%20is%20fixed%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22training%20data%20is%20collected.%20You%20would%20be%20measuring%20a%20constraint%20you%20can%20no%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22longer%20cheaply%20satisfy.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22c%22%3A%20(%22The%20tablet%20was%20known%20from%20the%20start.%20A%20model%20that%20cannot%20fit%20on%20it%20was%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22never%20a%20candidate%2C%20so%20'good'%20should%20have%20meant%20'accurate%20*and*%20under%20512%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22MB'%20from%20the%20first%20day.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22d%22%3A%20(%22Sometimes%20you%20genuinely%20get%20to%20choose%20the%20hardware.%20Here%20you%20do%20not%3A%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22clinics%20have%20the%20tablets%20they%20have%2C%20and%20'buy%20three%20hundred%20new%20tablets'%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22a%20different%20project%20with%20a%20different%20budget.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q1%22%2C%0A%20%20%20%20)%0A%20%20%20%20q1%0A%20%20%20%20return%20q1%2C%20q1_render%2C%20q1_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q1%2C%20q1_render)%3A%0A%20%20%20%20q1_render(q1.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%202%3A%20The%20five%20stages%2C%20and%20why%20they%20are%20a%20circle%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Before%20going%20further%2C%20here%20is%20the%20map.%20Almost%20every%20ML%20project%2C%20whatever%20it%20is%20for%2C%20moves%0A%20%20%20%20through%20the%20same%20five%20stages.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_stages%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%2201%22%2C%20%22Data%20collection%22%2C%20%22what%20the%20system%20learns%20from%22)%2C%0A%20%20%20%20%20%20%20%20(%2202%22%2C%20%22Model%20development%22%2C%20%22turning%20that%20into%20a%20model%22)%2C%0A%20%20%20%20%20%20%20%20(%2203%22%2C%20%22Evaluation%22%2C%20%22deciding%20whether%20it%20is%20good%20enough%22)%2C%0A%20%20%20%20%20%20%20%20(%2204%22%2C%20%22Deployment%22%2C%20%22putting%20it%20where%20people%20use%20it%22)%2C%0A%20%20%20%20%20%20%20%20(%2205%22%2C%20%22Monitoring%22%2C%20%22watching%20it%20once%20it%20is%20out%20there%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_cards%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-stage%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7B_n%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22s%22%3E%7B_name%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22tag%22%3E%7B_note%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20for%20_n%2C%20_name%2C%20_note%20in%20_stages%0A%20%20%20%20)%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-stages%22%3E%7B_cards%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w3-loop%22%3Eand%20monitoring%20feeds%20straight%20back%20into%20data%20collection%20%26%238630%3B%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Two%20words%20get%20used%20for%20this%2C%20and%20they%20are%20not%20the%20same%20thing.%0A%0A%20%20%20%20The%20**pipeline**%2C%20or%20workflow%2C%20is%20the%20five%20stages%3A%20the%20sequence%20of%20things%20that%20have%20to%0A%20%20%20%20happen.%0A%0A%20%20%20%20The%20**lifecycle**%20is%20what%20you%20get%20when%20you%20notice%20that%20the%20arrow%20out%20of%20monitoring%20goes%0A%20%20%20%20back%20to%20the%20start.%20Monitoring%20tells%20you%20the%20model%20has%20gone%20stale%2C%20so%20you%20collect%20fresh%0A%20%20%20%20data%2C%20so%20you%20train%20again%2C%20so%20you%20evaluate%20again%2C%20so%20you%20deploy%20again.%20It%20never%20stops%20while%0A%20%20%20%20the%20system%20is%20alive.%0A%0A%20%20%20%20%3E%20**Workflow%20is%20the%20stages.%20Lifecycle%20is%20going%20round%20the%20stages%2C%20again%20and%20again.**%0A%0A%20%20%20%20Which%20means%20there%20is%20a%20way%20to%20write%20down%20what%20the%20system%20actually%20depends%20on%2C%20and%20it%20is%0A%20%20%20%20worth%20staring%20at%20for%20a%20second%3A%0A%0A%20%20%20%20%24%24%5Ctext%7BSystem%20performance%7D%20%3D%20f(%5Ctext%7BData%7D%2C%5C%3B%20%5Ctext%7BAlgorithm%7D%2C%5C%3B%20%5Ctext%7BMachine%7D%2C%5C%3B%20%5Ctext%7BMonitoring%7D)%24%24%0A%0A%20%20%20%20Not%20%24f(%5Ctext%7BAlgorithm%7D)%24.%20The%20machine%20is%20in%20there%2C%20sitting%20as%20an%20equal%20next%20to%20the%20model%2C%0A%20%20%20%20which%20is%20exactly%20why%20a%20perfect%20model%20on%20the%20wrong%20tablet%20scores%20zero%20as%20a%20system.%0A%0A%20%20%20%20And%20because%20it%20is%20one%20function%20of%20four%20arguments%2C%20**you%20cannot%20optimise%20the%20arguments%20one%0A%20%20%20%20at%20a%20time.**%20Improving%20the%20algorithm%20while%20ignoring%20the%20machine%20is%20not%20progress%20towards%20a%0A%20%20%20%20working%20system.%20It%20is%20progress%20towards%20a%20nicer%20number%20in%20a%20notebook.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%203%3A%20Trouble%20travels%20backwards%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Back%20to%20the%20tablet.%20The%20constraint%20arrived%20at%20the%20**deployment**%20stage%2C%20but%20it%20cannot%20be%0A%20%20%20%20fixed%20there%3A%20no%20amount%20of%20clever%20loading%20fits%204%20GB%20into%20512%20MB.%20So%20it%20has%20to%20travel%0A%20%20%20%20upstream%20until%20it%20reaches%20a%20stage%20that%20can%20actually%20absorb%20it.%20That%20travelling%20is%20called%0A%20%20%20%20**constraint%20propagation**%2C%20and%20watching%20it%20happen%20is%20the%20point%20of%20this%20part.%0A%0A%20%20%20%20Below%20are%20four%20ways%20to%20make%20the%20model%20smaller.%20Each%20one%20shrinks%20it%2C%20each%20one%20costs%0A%20%20%20%20accuracy%2C%20and%20each%20one%20reopens%20some%20stage%20of%20the%20project%20that%20you%20thought%20was%20finished.%0A%0A%20%20%20%20Two%20things%20have%20to%20be%20true%20before%20you%20can%20ship%3A%0A%0A%20%20%20%20-%20the%20model%20must%20be%20**at%20or%20under%20512%20MB**%2C%20which%20is%20a%20fact%20about%20the%20tablet%0A%20%20%20%20-%20accuracy%20must%20stay%20**at%20or%20above%2090%20per%20cent**%2C%20which%20is%20a%20decision%20the%20clinicians%20made%2C%0A%20%20%20%20%20%20because%20a%20screening%20tool%20that%20misses%20disease%20is%20worse%20than%20no%20screening%20tool%0A%0A%20%20%20%20Tick%20fixes%20until%20both%20are%20satisfied.%20It%20is%20harder%20than%20it%20looks.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20fix_quant%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20value%3Dsaved.get(%22fix_quant%22%2C%20False)%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22**Quantise**%20the%20weights%2C%204%20bytes%20down%20to%201%20%26nbsp%3B%26middot%3B%26nbsp%3B%204%26times%3B%20smaller%2C%20costs%204.0%20points%22%0A%20%20%20%20)%0A%20%20%20%20fix_prune%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20value%3Dsaved.get(%22fix_prune%22%2C%20False)%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22**Prune**%2030%20per%20cent%20of%20the%20connections%20%26nbsp%3B%26middot%3B%26nbsp%3B%201.4%26times%3B%20smaller%2C%20costs%201.5%20points%22%0A%20%20%20%20)%0A%20%20%20%20fix_arch%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20value%3Dsaved.get(%22fix_arch%22%2C%20False)%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22**Swap%20the%20architecture**%20for%20a%20compact%20one%20%26nbsp%3B%26middot%3B%26nbsp%3B%208%26times%3B%20smaller%2C%20costs%203.0%20points%22%0A%20%20%20%20)%0A%20%20%20%20fix_res%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20value%3Dsaved.get(%22fix_res%22%2C%20False)%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22**Halve%20the%20input%20resolution**%20%26nbsp%3B%26middot%3B%26nbsp%3B%201.8%26times%3B%20smaller%2C%20costs%206.5%20points%22%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22**Pick%20the%20fixes%20you%20would%20apply.**%22)%2C%0A%20%20%20%20%20%20%20%20fix_quant%2C%20fix_prune%2C%20fix_arch%2C%20fix_res%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20fix_arch%2C%20fix_prune%2C%20fix_quant%2C%20fix_res%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(fix_arch%2C%20fix_prune%2C%20fix_quant%2C%20fix_res)%3A%0A%20%20%20%20BASE_MB%20%3D%204000.0%20%20%20%20%20%20%20%20%23%20a%20billion%20parameters%20at%20four%20bytes%20each%0A%20%20%20%20BUDGET_MB%20%3D%20512.0%20%20%20%20%20%20%20%23%20what%20the%20tablet%20has%20free%0A%20%20%20%20BASE_ACC%20%3D%2095.0%20%20%20%20%20%20%20%20%20%23%20test%20accuracy%20the%20team%20reported%0A%20%20%20%20ACC_FLOOR%20%3D%2090.0%20%20%20%20%20%20%20%20%23%20what%20the%20clinicians%20will%20accept%20for%20screening%0A%0A%20%20%20%20%23%20name%2C%20chosen%2C%20size%20multiplier%2C%20accuracy%20points%20given%20up%2C%20stages%20it%20reopens%0A%20%20%20%20FIXES%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Quantise%20to%201%20byte%22%2C%20fix_quant.value%2C%200.25%2C%204.0%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Model%20development%22%2C%20%22Evaluation%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22The%20training%20run%20itself%20is%20untouched%2C%20but%20every%20number%20is%20now%20stored%20more%20roughly%2C%20%22%0A%20%20%20%20%20%20%20%20%20%22so%20the%20model%20has%20to%20be%20re-checked%20before%20anyone%20trusts%20it.%22)%2C%0A%20%20%20%20%20%20%20%20(%22Prune%2030%20per%20cent%22%2C%20fix_prune.value%2C%200.70%2C%201.5%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Model%20development%22%2C%20%22Evaluation%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22Connections%20are%20removed%20and%20the%20remainder%20is%20fine-tuned%2C%20so%20this%20is%20a%20return%20to%20%22%0A%20%20%20%20%20%20%20%20%20%22training%2C%20then%20a%20return%20to%20evaluation.%22)%2C%0A%20%20%20%20%20%20%20%20(%22Compact%20architecture%22%2C%20fix_arch.value%2C%200.12%2C%203.0%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Data%20collection%22%2C%20%22Model%20development%22%2C%20%22Evaluation%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22You%20are%20abandoning%20the%20billion-parameter%20backbone%20for%20one%20built%20to%20run%20on%20a%20phone.%20%22%0A%20%20%20%20%20%20%20%20%20%22It%20expects%20differently%20prepared%20inputs%2C%20so%20the%20preparation%20code%20and%20the%20stored%20%22%0A%20%20%20%20%20%20%20%20%20%22dataset%20are%20rebuilt%2C%20and%20the%20whole%20thing%20is%20trained%20again%20from%20the%20beginning.%22)%2C%0A%20%20%20%20%20%20%20%20(%22Half%20resolution%22%2C%20fix_res.value%2C%200.55%2C%206.5%2C%0A%20%20%20%20%20%20%20%20%20%7B%22Data%20collection%22%2C%20%22Model%20development%22%2C%20%22Evaluation%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%22You%20are%20throwing%20away%20pixels%20before%20the%20model%20ever%20sees%20them.%20The%20dataset%20is%20%22%0A%20%20%20%20%20%20%20%20%20%22regenerated%2C%20the%20model%20is%20retrained%20on%20it%2C%20and%20the%20small%20lesions%20get%20harder%20to%20see.%22)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20chosen%20%3D%20%5Bf%20for%20f%20in%20FIXES%20if%20f%5B1%5D%5D%0A%0A%20%20%20%20size_mb%20%3D%20BASE_MB%0A%20%20%20%20accuracy%20%3D%20BASE_ACC%0A%20%20%20%20reopened%20%3D%20%7B%22Deployment%22%7D%20%20%20%20%20%20%20%23%20where%20the%20constraint%20was%20found%20in%20the%20first%20place%0A%20%20%20%20for%20_n%2C%20_on%2C%20_mult%2C%20_cost%2C%20_stages%2C%20_note%20in%20chosen%3A%0A%20%20%20%20%20%20%20%20size_mb%20*%3D%20_mult%0A%20%20%20%20%20%20%20%20accuracy%20-%3D%20_cost%0A%20%20%20%20%20%20%20%20reopened%20%7C%3D%20_stages%0A%0A%20%20%20%20fits%20%3D%20size_mb%20%3C%3D%20BUDGET_MB%0A%20%20%20%20accurate%20%3D%20accuracy%20%3E%3D%20ACC_FLOOR%0A%20%20%20%20shippable%20%3D%20fits%20and%20accurate%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20ACC_FLOOR%2C%0A%20%20%20%20%20%20%20%20BASE_ACC%2C%0A%20%20%20%20%20%20%20%20BASE_MB%2C%0A%20%20%20%20%20%20%20%20BUDGET_MB%2C%0A%20%20%20%20%20%20%20%20accuracy%2C%0A%20%20%20%20%20%20%20%20accurate%2C%0A%20%20%20%20%20%20%20%20chosen%2C%0A%20%20%20%20%20%20%20%20fits%2C%0A%20%20%20%20%20%20%20%20reopened%2C%0A%20%20%20%20%20%20%20%20shippable%2C%0A%20%20%20%20%20%20%20%20size_mb%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20ACC_FLOOR%2C%0A%20%20%20%20BASE_ACC%2C%0A%20%20%20%20BASE_MB%2C%0A%20%20%20%20BUDGET_MB%2C%0A%20%20%20%20LAB_CSS%2C%0A%20%20%20%20accuracy%2C%0A%20%20%20%20accurate%2C%0A%20%20%20%20fits%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20size_mb%2C%0A)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%0A%20%20%20%20%23%20Both%20bars%20are%20drawn%20against%20a%20fixed%20span%20so%20they%20do%20not%20rescale%20as%20you%20tick%0A%20%20%20%20%23%20boxes%3B%20a%20bar%20that%20redraws%20its%20own%20axis%20hides%20the%20thing%20you%20are%20looking%20for.%0A%20%20%20%20_size_span%20%3D%20BASE_MB%0A%20%20%20%20_size_pct%20%3D%20min(size_mb%20%2F%20_size_span%20*%20100.0%2C%20100.0)%0A%20%20%20%20_budget_pct%20%3D%20BUDGET_MB%20%2F%20_size_span%20*%20100.0%0A%0A%20%20%20%20_acc_lo%2C%20_acc_hi%20%3D%2075.0%2C%20100.0%0A%20%20%20%20_acc_pct%20%3D%20max(min((accuracy%20-%20_acc_lo)%20%2F%20(_acc_hi%20-%20_acc_lo)%20*%20100.0%2C%20100.0)%2C%200.0)%0A%20%20%20%20_floor_pct%20%3D%20(ACC_FLOOR%20-%20_acc_lo)%20%2F%20(_acc_hi%20-%20_acc_lo)%20*%20100.0%0A%0A%20%20%20%20def%20_mb(v)%3A%0A%20%20%20%20%20%20%20%20return%20f%22%7Bv%3A%2C.0f%7D%20MB%22%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-bars%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-bar%20%7B'good'%20if%20fits%20else%20'bad'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22t%22%3ESize%20on%20the%20tablet%3Cbr%3E%3Cspan%20style%3D%22color%3A%238a8a8a%3Bfont-size%3A.78rem%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20started%20at%20%7B_mb(BASE_MB)%7D%2C%20budget%20is%20%7BBUDGET_MB%3A.0f%7D%20MB%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22track%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22fill%22%20style%3D%22width%3A%7B_size_pct%3A.1f%7D%25%22%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22limit%22%20style%3D%22left%3A%7B_budget_pct%3A.1f%7D%25%22%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7B_mb(size_mb)%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-bar%20%7B'good'%20if%20accurate%20else%20'bad'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22t%22%3EAccuracy%20left%3Cbr%3E%3Cspan%20style%3D%22color%3A%238a8a8a%3Bfont-size%3A.78rem%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20started%20at%20%7BBASE_ACC%3A.0f%7D%25%2C%20floor%20is%20%7BACC_FLOOR%3A.0f%7D%25%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22track%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22fill%22%20style%3D%22width%3A%7B_acc_pct%3A.1f%7D%25%22%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22limit%22%20style%3D%22left%3A%7B_floor_pct%3A.1f%7D%25%22%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7Baccuracy%3A.1f%7D%25%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w3-note%22%3EThe%20black%20line%20on%20each%20bar%20is%20the%20limit.%20The%20size%20bar%20has%20to%20end%0A%20%20%20%20%20%20%20%20%20%20%20%20left%20of%20it%3B%20the%20accuracy%20bar%20has%20to%20end%20right%20of%20it.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(accuracy%2C%20accurate%2C%20fits%2C%20mo%2C%20shippable%2C%20size_mb)%3A%0A%20%20%20%20if%20shippable%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**This%20one%20ships.**%20%7Bsize_mb%3A.0f%7D%20MB%20on%20a%20512%20MB%20tablet%2C%20and%20%7Baccuracy%3A.1f%7D%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22per%20cent%20against%20a%20floor%20of%2090.%20Now%20look%20at%20which%20stages%20you%20had%20to%20reopen%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22to%20get%20here.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20elif%20not%20fits%20and%20not%20accurate%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Neither%20limit%20is%20met.**%20Still%20%7Bsize_mb%3A.0f%7D%20MB%2C%20and%20accuracy%20is%20down%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Baccuracy%3A.1f%7D%20per%20cent.%20You%20are%20paying%20for%20shrinkage%20without%20getting%20enough%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22of%20it.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22danger%22%0A%20%20%20%20elif%20not%20fits%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**Still%20too%20big.**%20%7Bsize_mb%3A.0f%7D%20MB%20against%20512%20MB.%20The%20accuracy%20is%20fine%2C%20so%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22you%20have%20room%20to%20spend%20more%20of%20it.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22**It%20fits%2C%20and%20it%20is%20no%20longer%20good%20enough.**%20%7Bsize_mb%3A.0f%7D%20MB%20is%20inside%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22budget%2C%20but%20%7Baccuracy%3A.1f%7D%20per%20cent%20is%20below%20the%20floor%20the%20clinicians%20set.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22A%20screening%20tool%20that%20misses%20disease%20is%20not%20a%20smaller%20success%2C%20it%20is%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22different%20kind%20of%20failure.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo%2C%20reopened)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_stages%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%2201%22%2C%20%22Data%20collection%22)%2C%0A%20%20%20%20%20%20%20%20(%2202%22%2C%20%22Model%20development%22)%2C%0A%20%20%20%20%20%20%20%20(%2203%22%2C%20%22Evaluation%22)%2C%0A%20%20%20%20%20%20%20%20(%2204%22%2C%20%22Deployment%22)%2C%0A%20%20%20%20%20%20%20%20(%2205%22%2C%20%22Monitoring%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_cards%20%3D%20%22%22%0A%20%20%20%20for%20_n%2C%20_name%20in%20_stages%3A%0A%20%20%20%20%20%20%20%20if%20_name%20%3D%3D%20%22Deployment%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cls%2C%20_tag%20%3D%20%22origin%22%2C%20%22where%20it%20was%20found%22%0A%20%20%20%20%20%20%20%20elif%20_name%20in%20reopened%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cls%2C%20_tag%20%3D%20%22hit%22%2C%20%22has%20to%20be%20redone%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_cls%2C%20_tag%20%3D%20%22%22%2C%20%22untouched%22%0A%20%20%20%20%20%20%20%20_cards%20%2B%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-stage%20%7B_cls%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7B_n%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22s%22%3E%7B_name%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22tag%22%3E%7B_tag%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22**What%20your%20choice%20reopens**%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22w3-stages%22%3E%7B_cards%7D%3C%2Fdiv%3E')%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(chosen%2C%20mo)%3A%0A%20%20%20%20mo.stop(not%20chosen%2C%20mo.callout(mo.md(%22Tick%20a%20fix%20to%20see%20what%20it%20drags%20back%20upstream.%22)%2C%20kind%3D%22neutral%22))%0A%20%20%20%20_lines%20%3D%20chr(10).join(f%22-%20**%7B_n%7D.**%20%7B_note%7D%22%20for%20_n%2C%20_on%2C%20_m%2C%20_c%2C%20_s%2C%20_note%20in%20chosen)%0A%20%20%20%20mo.md(%22**Why%20those%20stages%3A**%22%20%2B%20chr(10)%20%2B%20chr(10)%20%2B%20_lines)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20you%20should%20have%20noticed%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20**Quantisation%20alone%20is%20not%20enough%2C%20and%20it%20is%20the%20first%20thing%20everyone%20tries.**%20It%20is%20the%0A%20%20%20%20cheapest%20fix%20on%20the%20list%20and%20it%20takes%204%20GB%20down%20to%201%20GB%2C%20which%20is%20still%20twice%20the%20budget.%20An%0A%20%20%20%20eight-fold%20gap%20is%20not%20a%20rounding%20problem.%20You%20cannot%20store%20your%20way%20out%20of%20it.%0A%0A%20%20%20%20**Only%20two%20of%20the%20sixteen%20combinations%20actually%20ship**%2C%20and%20both%20of%20them%20include%20swapping%20the%0A%20%20%20%20architecture%3A%0A%0A%20%20%20%20%7C%20What%20you%20tick%20%7C%20Size%20%7C%20Accuracy%20%7C%20Ships%3F%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20Compact%20architecture%2C%20on%20its%20own%20%7C%20480%20MB%20%7C%2092.0%25%20%7C%20yes%20%7C%0A%20%20%20%20%7C%20Compact%20architecture%20and%20pruning%20%7C%20336%20MB%20%7C%2090.5%25%20%7C%20yes%20%7C%0A%20%20%20%20%7C%20Quantise%20and%20compact%20architecture%20%7C%20120%20MB%20%7C%2088.0%25%20%7C%20no%2C%20below%20the%20floor%20%7C%0A%20%20%20%20%7C%20Quantise%2C%20on%20its%20own%20%7C%201%2C000%20MB%20%7C%2091.0%25%20%7C%20no%2C%20twice%20the%20budget%20%7C%0A%20%20%20%20%7C%20Everything%20at%20once%20%7C%2046%20MB%20%7C%2080.0%25%20%7C%20no%2C%20and%20by%20a%20long%20way%20%7C%0A%0A%20%20%20%20**The%20fix%20that%20works%20is%20the%20one%20that%20reaches%20furthest%20back.**%20Swapping%20the%20architecture%0A%20%20%20%20reopens%20data%20collection%2C%20because%20a%20different%20model%20wants%20differently%20prepared%20inputs.%20That%20is%0A%20%20%20%20not%20a%20coincidence.%20The%20constraint%20was%20violated%20by%20*eight%20times*%2C%20and%20a%20violation%20that%20large%0A%20%20%20%20can%20only%20be%20absorbed%20by%20a%20stage%20early%20enough%20to%20still%20be%20making%20real%20choices.%0A%0A%20%20%20%20**Ticking%20everything%20makes%20it%20worse.**%20Four%20fixes%20leave%20you%20with%20a%2046%20MB%20model%20that%20is%20right%0A%20%20%20%2080%20per%20cent%20of%20the%20time.%20It%20fits%20beautifully%20and%20no%20clinician%20should%20ever%20use%20it.%20Shrinking%20is%0A%20%20%20%20not%20the%20goal%3B%20shipping%20something%20worth%20shipping%20is.%0A%0A%20%20%20%20**None%20of%20this%20was%20modelling%20work.**%20Nobody%20found%20a%20better%20architecture%20or%20a%20cleverer%20loss.%0A%20%20%20%20The%20entire%20exercise%20was%20spending%20accuracy%20to%20buy%20memory%2C%20at%20exchange%20rates%20set%20by%20hardware%0A%20%20%20%20that%20was%20sitting%20in%20the%20clinics%20the%20whole%20time.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22So%20what%20should%20the%20team%20have%20done%20in%20month%20one%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20Written%20the%20tablet%20into%20the%20definition%20of%20the%20problem%2C%20before%20a%20single%20image%20was%20collected.%0A%0A%20%20%20%20In%20practice%20that%20means%20the%20first%20stage%20of%20the%20project%20produces%20a%20sentence%20like%3A%20*%22a%20screening%0A%20%20%20%20model%2C%20at%20least%2090%20per%20cent%20accurate%2C%20running%20in%20under%20512%20MB%20and%20answering%20within%20two%20seconds%0A%20%20%20%20on%20the%20tablets%20the%20clinics%20already%20own.%22*%20Every%20one%20of%20those%20is%20checkable.%20Every%20one%20of%20them%0A%20%20%20%20rules%20out%20work%20that%20was%20never%20going%20to%20survive.%0A%0A%20%20%20%20With%20that%20sentence%20written%20down%2C%20the%20compact%20architecture%20is%20where%20you%20start%20rather%20than%20where%0A%20%20%20%20you%20end%20up%2C%20the%20data%20pipeline%20is%20built%20once%20for%20the%20inputs%20that%20model%20needs%2C%20and%20the%20four%0A%20%20%20%20months%20produce%20something%20that%20can%20be%20deployed%20on%20the%20day%20it%20is%20finished.%0A%0A%20%20%20%20The%20work%20is%20not%20obviously%20harder.%20It%20is%20the%20same%20work%20in%20a%20different%20order.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q2%2C%20q2_render%2C%20q2_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20Quantising%20took%20the%20model%20from%204%20GB%20to%201%20GB%20and%20it%20still%20did%20not%20fit.%20What%20does%20that%20tell%20you%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Quantisation%20was%20applied%20incorrectly%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20tablet%20needs%20more%20memory%2C%20so%20the%20hardware%20has%20to%20change%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20gap%20that%20large%20has%20to%20be%20absorbed%20by%20an%20earlier%20stage%2C%20which%20means%20redesigning%20and%20retraining%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Accuracy%20should%20be%20lowered%20further%20until%20the%20size%20comes%20down%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%22%3A%20(%22Four%20times%20smaller%20is%20what%20quantisation%20gives%20you%2C%20and%20that%20is%20what%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gave.%20It%20did%20its%20job%3B%20its%20job%20was%20just%20not%20big%20enough.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b%22%3A%20(%22That%20is%20the%20one%20option%20the%20story%20removed.%20The%20clinics%20own%20the%20tablets%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22replacing%20three%20hundred%20of%20them%20is%20a%20different%20project%20with%20a%20different%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22budget.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22c%22%3A%20(%22Late%20fixes%20have%20small%2C%20fixed%20exchange%20rates.%20An%20eight-fold%20miss%20needs%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22stage%20that%20is%20still%20free%20to%20make%20real%20choices%2C%20and%20the%20only%20stages%20like%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22that%20are%20upstream.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22d%22%3A%20(%22Accuracy%20is%20not%20a%20dial%20that%20produces%20megabytes.%20Each%20fix%20has%20its%20own%20fixed%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22size%20effect%2C%20and%20ticking%20all%20four%20left%20a%20model%20too%20weak%20to%20use.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q2%22%2C%0A%20%20%20%20)%0A%20%20%20%20q2%0A%20%20%20%20return%20q2%2C%20q2_render%2C%20q2_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q2%2C%20q2_render)%3A%0A%20%20%20%20q2_render(q2.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%204%3A%20When%20two%20constraints%20cannot%20both%20be%20satisfied%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Sometimes%20propagation%20does%20not%20converge.%20You%20shrink%20the%20model%20to%20fit%2C%20and%20the%20shrinking%0A%20%20%20%20breaks%20the%20thing%20the%20model%20was%20for.%0A%0A%20%20%20%20Take%20a%20different%20system%3A%20a%20camera%20on%20a%20delivery%20truck%20watching%20fresh%20produce%20for%20spoilage.%0A%20%20%20%20The%20obvious%20way%20to%20make%20it%20cheap%20enough%20to%20run%20is%20to%20halve%20the%20input%20resolution.%20Do%20that%2C%0A%20%20%20%20and%20the%20small%20mould%20spots%2C%20which%20are%20the%20entire%20point%2C%20stop%20being%20visible%20at%20all.%0A%0A%20%20%20%20Now%20you%20have%20a%20**constraint%20conflict**.%20Every%20fix%20that%20satisfies%20one%20requirement%20violates%0A%20%20%20%20another%2C%20and%20no%20amount%20of%20further%20propagation%20escapes%20it.%0A%0A%20%20%20%20There%20are%20exactly%20two%20kinds%20of%20response%2C%20and%20confusing%20them%20is%20how%20projects%20stall.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-two%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-col%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3E1.%20Change%20the%20system%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22lead%22%3EKeep%20every%20requirement.%20Build%20something%20cleverer.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EFind%20the%20region%20worth%20looking%20at%20first%2C%20and%20only%20run%20the%20real%20model%20there%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EUse%20a%20tiny%20trigger%20model%20that%20wakes%20the%20big%20one%20occasionally%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EAdd%20a%20hardware%20accelerator%20to%20the%20device%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EChange%20the%20architecture%20rather%20than%20the%20input%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-col%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3E2.%20Change%20the%20requirement%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22lead%22%3EAsk%20whether%20the%20requirement%20was%20ever%20real.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ELoosen%20the%20deadline%20if%20nothing%20physical%20depends%20on%20it%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ELook%20at%20events%20rather%20than%20at%20every%20single%20frame%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ESend%20the%20hard%20cases%20to%20a%20server%20when%20there%20is%20signal%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EPut%20a%20person%20in%20the%20loop%20for%20the%20uncertain%20ones%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w3-note%22%3EThe%20second%20column%20is%20not%20giving%20up.%20Requirements%20are%20written%20by%0A%20%20%20%20%20%20%20%20people%2C%20often%20early%2C%20often%20by%20guess.%20%22Thirty%20frames%20a%20second%22%20is%20a%20camera%20setting%0A%20%20%20%20%20%20%20%20somebody%20copied%2C%20not%20a%20fact%20about%20how%20quickly%20a%20tomato%20rots.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20engineering%20judgement%20is%20which%20column%20you%20are%20in%2C%20and%20you%20owe%20everyone%20an%20honest%0A%20%20%20%20answer.%20A%20requirement%20that%20came%20from%20physics%2C%20like%20a%20door%20that%20is%20already%20closing%2C%20cannot%0A%20%20%20%20be%20renegotiated.%20A%20requirement%20that%20came%20from%20a%20default%20setting%20can%2C%20and%20should%20be%2C%20before%0A%20%20%20%20anybody%20spends%20six%20weeks%20building%20around%20it.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%205%3A%20What%20one%20stage%20owes%20the%20next%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20So%20constraints%20travel%2C%20and%20stages%20reopen%20each%20other.%20That%20is%20manageable%20if%20each%20stage%20hands%0A%20%20%20%20the%20next%20one%20something%20complete.%20It%20is%20chaos%20if%20it%20does%20not.%0A%0A%20%20%20%20The%20way%20to%20stop%20the%20chaos%20is%20to%20agree%2C%20in%20advance%2C%20what%20a%20stage%20has%20to%20produce%20before%20it%20is%0A%20%20%20%20allowed%20to%20call%20itself%20finished.%20Think%20of%20it%20as%20a%20**contract**%3A%20inputs%2C%20outputs%2C%20and%20things%0A%20%20%20%20that%20must%20be%20true.%0A%0A%20%20%20%20%7C%20Stage%20%7C%20What%20it%20hands%20over%20%7C%20What%20must%20be%20true%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20**Problem**%20%7C%20Measurable%20goals%20and%20the%20deployment%20target%20%7C%20Every%20success%20criterion%20is%20a%20number%20%7C%0A%20%20%20%20%7C%20**Data**%20%7C%20A%20versioned%20dataset%20with%20a%20schema%20and%20validation%20rules%20%7C%20It%20looks%20like%20what%20production%20will%20send%20%7C%0A%20%20%20%20%7C%20**Model**%20%7C%20A%20reproducible%20artefact%20%7C%20It%20meets%20the%20metric%20*and*%20the%20compute%20budget%20%7C%0A%0A%20%20%20%20Look%20at%20the%20last%20row.%20%22A%20reproducible%20artefact%22%20is%20doing%20a%20lot%20of%20work%2C%20and%20the%20most%20common%0A%20%20%20%20way%20to%20break%20the%20model%20contract%20is%20to%20hand%20over%20a%20weights%20file%20and%20think%20you%20are%20done.%0A%0A%20%20%20%20Below%20are%20the%20four%20pieces%20the%20model%20stage%20actually%20owes.%20Tick%20what%20you%20would%20hand%20over.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20part_weights%20%3D%20mo.ui.checkbox(value%3Dsaved.get(%22part_weights%22%2C%20True)%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Weights**%20%26nbsp%3B%26middot%3B%26nbsp%3B%20the%20trained%20numbers%22)%0A%20%20%20%20part_code%20%3D%20mo.ui.checkbox(value%3Dsaved.get(%22part_code%22%2C%20False)%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Inference%20code**%20%26nbsp%3B%26middot%3B%26nbsp%3B%20preprocessing%20and%20the%20forward%20pass%22)%0A%20%20%20%20part_env%20%3D%20mo.ui.checkbox(value%3Dsaved.get(%22part_env%22%2C%20False)%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Environment**%20%26nbsp%3B%26middot%3B%26nbsp%3B%20library%20versions%2C%20drivers%2C%20the%20container%22)%0A%20%20%20%20part_config%20%3D%20mo.ui.checkbox(value%3Dsaved.get(%22part_config%22%2C%20False)%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Configuration**%20%26nbsp%3B%26middot%3B%26nbsp%3B%20hyperparameters%20and%20runtime%20flags%22)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22**What%20goes%20in%20the%20hand-over%3F**%22)%2C%0A%20%20%20%20%20%20%20%20part_weights%2C%20part_code%2C%20part_env%2C%20part_config%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20part_code%2C%20part_config%2C%20part_env%2C%20part_weights%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo%2C%20part_code%2C%20part_config%2C%20part_env%2C%20part_weights)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20PARTS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Weights%22%2C%20part_weights.value%2C%20%22The%20learned%20numbers.%20On%20their%20own%20they%20are%20a%20file%20%22%0A%20%20%20%20%20%20%20%20%20%22nobody%20can%20interpret.%22)%2C%0A%20%20%20%20%20%20%20%20(%22Inference%20code%22%2C%20part_code.value%2C%20%22How%20an%20image%20becomes%20a%20tensor%2C%20and%20the%20exact%20%22%0A%20%20%20%20%20%20%20%20%20%22forward%20pass.%20Resizing%20with%20a%20different%20library%20shifts%20every%20pixel%20slightly.%22)%2C%0A%20%20%20%20%20%20%20%20(%22Environment%22%2C%20part_env.value%2C%20%22Framework%20version%2C%20CUDA%20version%2C%20the%20container.%20%22%0A%20%20%20%20%20%20%20%20%20%22Different%20maths%20libraries%20give%20different%20last%20decimal%20places.%22)%2C%0A%20%20%20%20%20%20%20%20(%22Configuration%22%2C%20part_config.value%2C%20%22Hyperparameters%2C%20thresholds%2C%20runtime%20flags.%20%22%0A%20%20%20%20%20%20%20%20%20%22The%20decision%20threshold%20alone%20changes%20what%20gets%20flagged.%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20_cards%20%3D%20%22%22.join(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-part%20%7B'on'%20if%20_on%20else%20''%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ch5%3E%7B_name%7D%3C%2Fh5%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%7B_note%20if%20_on%20else%20'Not%20handed%20over.'%7D%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20for%20_name%2C%20_on%2C%20_note%20in%20PARTS%0A%20%20%20%20)%0A%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22w3-parts%22%3E%7B_cards%7D%3C%2Fdiv%3E')%0A%20%20%20%20return%20(PARTS%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(PARTS%2C%20mo)%3A%0A%20%20%20%20_missing%20%3D%20%5B_n%20for%20_n%2C%20_on%2C%20_%20in%20PARTS%20if%20not%20_on%5D%0A%20%20%20%20_consequence%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Weights%22%3A%20%22there%20is%20no%20model%20at%20all%2C%20only%20a%20description%20of%20one%22%2C%0A%20%20%20%20%20%20%20%20%22Inference%20code%22%3A%20(%22production%20writes%20its%20own%20preprocessing%2C%20resizes%20with%20a%20different%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22library%2C%20and%20every%20prediction%20shifts%20a%20little%22)%2C%0A%20%20%20%20%20%20%20%20%22Environment%22%3A%20(%22production%20installs%20whatever%20version%20is%20current%2C%20the%20maths%20differs%20in%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20last%20decimal%20place%2C%20and%20borderline%20cases%20flip%22)%2C%0A%20%20%20%20%20%20%20%20%22Configuration%22%3A%20(%22nobody%20knows%20what%20threshold%20was%20used%2C%20so%20production%20picks%200.5%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20false-negative%20rate%20quietly%20changes%22)%2C%0A%20%20%20%20%7D%0A%20%20%20%20if%20not%20_missing%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**All%20four.**%20This%20is%20the%20thing%20the%20deployment%20team%20can%20actually%20run%2C%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22thing%20you%20can%20rebuild%20in%20a%20year%20when%20somebody%20asks%20why%20it%20made%20a%20particular%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22call.%20Tools%20like%20MLflow%20exist%20to%20package%20exactly%20these%20four%20together%2C%20and%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22container%20image%20seals%20the%20environment%20half%20of%20it.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_bits%20%3D%20chr(10).join(f%22-%20Without%20**%7B_m.lower()%7D**%2C%20%7B_consequence%5B_m%5D%7D.%22%20for%20_m%20in%20_missing)%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**Incomplete%20hand-over.**%22%20%2B%20chr(10)%20%2B%20chr(10)%20%2B%20_bits%20%2B%20chr(10)%20%2B%20chr(10)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20%22And%20here%20is%20the%20part%20that%20makes%20this%20dangerous%3A%20**none%20of%20these%20throw%20an%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22error.**%20The%20service%20starts%2C%20returns%20predictions%2C%20and%20logs%20nothing%20unusual.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20numbers%20are%20just%20quietly%20different%20from%20the%20ones%20you%20evaluated.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20this%20looks%20like%20in%20code%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20The%20version%20that%20breaks%20is%20short%2C%20which%20is%20why%20it%20is%20so%20common%3A%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20model%20%3D%20DiabeticRetinopathyCNN()%0A%20%20%20%20train_loop(model)%0A%20%20%20%20torch.save(model.state_dict()%2C%20%22%2Fshared%2Fmodels%2Flatest_weights.pt%22)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20One%20file%2C%20dropped%20in%20a%20shared%20folder.%20It%20does%20not%20record%20which%20framework%20version%20produced%20it%2C%0A%20%20%20%20which%20preprocessing%20the%20images%20went%20through%2C%20or%20what%20threshold%20the%20evaluation%20used.%20Six%20weeks%0A%20%20%20%20later%20someone%20loads%20it%20in%20production%20against%20a%20slightly%20different%20install%20and%20gets%20slightly%0A%20%20%20%20different%20answers%2C%20with%20no%20error%20to%20trace.%0A%0A%20%20%20%20The%20version%20that%20holds%20records%20all%20four%20pieces%20as%20one%20unit%3A%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20with%20mlflow.start_run()%3A%0A%20%20%20%20%20%20%20%20mlflow.log_params(%7B%22learning_rate%22%3A%200.001%2C%20%22batch_size%22%3A%2032%2C%20%22threshold%22%3A%200.42%7D)%0A%20%20%20%20%20%20%20%20mlflow.log_metric(%22auc%22%2C%200.98)%0A%20%20%20%20%20%20%20%20mlflow.pyfunc.log_model(%0A%20%20%20%20%20%20%20%20%20%20%20%20artifact_path%3D%22dr_model%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20python_model%3DDiabeticRetinopathyModel()%2C%20%20%20%23%20carries%20its%20own%20preprocessing%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20and%20seals%20the%20environment%20alongside%20it%3A%0A%0A%20%20%20%20%60%60%60dockerfile%0A%20%20%20%20FROM%20pytorch%2Fpytorch%3A2.4.0-cuda12.1-cudnn8-runtime%0A%20%20%20%20COPY%20requirements.txt%20%2Fapp%2Frequirements.txt%0A%20%20%20%20RUN%20pip%20install%20-r%20%2Fapp%2Frequirements.txt%20--no-cache-dir%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20You%20do%20not%20need%20to%20know%20these%20tools%20yet.%20The%20point%20is%20that%20the%20contract%20is%20what%20matters%2C%20and%0A%20%20%20%20the%20tools%20exist%20because%20people%20kept%20breaking%20it.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20same%20idea%2C%20one%20stage%20earlier%3A%20the%20data%20contract%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20Data%20preparation%20eats%20most%20of%20the%20time%20on%20a%20real%20project%2C%20and%20it%20has%20its%20own%20contract.%20Three%0A%20%20%20%20things%20get%20checked%2C%20and%20all%20three%20are%20checked%20**at%20the%20moment%20data%20arrives**%2C%20not%20after%0A%20%20%20%20training%20has%20already%20used%20it.%0A%0A%20%20%20%20**Schema.**%20Are%20the%20fields%20the%20right%20type%2C%20is%20anything%20missing%2C%20are%20the%20images%20the%20resolution%0A%20%20%20%20they%20are%20supposed%20to%20be%3F%20A%20clinic%20technician%20changes%20a%20camera%20setting%2C%20the%20resolution%20drops%2C%0A%20%20%20%20and%20nothing%20complains.%0A%0A%20%20%20%20**Distribution.**%20Do%20the%20values%20look%20like%20what%20production%20will%20actually%20send%3F%20A%20dataset%20can%20be%0A%20%20%20%20perfectly%20well-formed%20and%20still%20be%20from%20the%20wrong%20population.%0A%0A%20%20%20%20**Provenance.**%20Which%20camera%2C%20which%20operator%2C%20which%20site%20produced%20each%20sample%3F%20Without%20this%20you%0A%20%20%20%20cannot%20answer%20%22is%20the%20problem%20coming%20from%20one%20clinic%3F%22%2C%20which%20is%20the%20first%20question%20worth%0A%20%20%20%20asking%20when%20something%20goes%20wrong.%0A%0A%20%20%20%20Written%20as%20code%2C%20a%20gate%20is%20unglamorous%20and%20about%20eight%20lines%3A%0A%0A%20%20%20%20%60%60%60python%0A%20%20%20%20Contract%20%3D%20pa.DataFrameSchema(%7B%0A%20%20%20%20%20%20%20%20%22image_id%22%3A%20%20%20%20%20%20pa.Column(str%2C%20unique%3DTrue%2C%20nullable%3DFalse)%2C%0A%20%20%20%20%20%20%20%20%22camera_model%22%3A%20%20pa.Column(str%2C%20checks%3Dpa.Check.isin(%5B%22Fundus-X10%22%2C%20%22Fundus-V5%22%5D))%2C%0A%20%20%20%20%20%20%20%20%22resolution_w%22%3A%20%20pa.Column(int%2C%20checks%3Dpa.Check.geq(2048))%2C%20%20%20%23%20trap%20low-res%20inputs%0A%20%20%20%20%20%20%20%20%22mean_intensity%22%3A%20pa.Column(float%2C%20checks%3Dpa.Check.between(10.0%2C%20245.0))%2C%0A%20%20%20%20%7D)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Without%20it%2C%20corrupt%20data%20flows%20into%20training%2C%20the%20model%20learns%20from%20it%2C%20and%20the%20pipeline%0A%20%20%20%20reports%20success%20at%20every%20step.%20That%20is%20a%20**data%20cascade**%3A%20one%20bad%20input%20at%20the%20top%2C%20and%20no%0A%20%20%20%20error%20anywhere%20on%20the%20way%20down.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q3%2C%20q3_render%2C%20q3_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20A%20team%20hands%20over%20only%20a%20weights%20file.%20Production%20loads%20it%20and%20serves%20predictions%20with%20no%20errors.%20What%20is%20the%20risk%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20service%20will%20be%20slower%20than%20it%20was%20in%20testing%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Predictions%20will%20differ%20from%20the%20ones%20that%20were%20evaluated%2C%20with%20nothing%20to%20signal%20it%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20model%20will%20refuse%20to%20load%20on%20different%20hardware%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22There%20is%20no%20real%20risk%2C%20since%20the%20weights%20are%20the%20model%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%22%3A%20(%22Speed%20is%20not%20the%20issue.%20The%20service%20runs%20at%20a%20perfectly%20normal%20speed%20while%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22giving%20you%20different%20answers.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b%22%3A%20(%22Preprocessing%2C%20library%20versions%20and%20thresholds%20all%20move%20the%20output%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22little%2C%20and%20none%20of%20them%20raise%20an%20exception.%20The%20system%20looks%20healthy%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22is%20not%20the%20system%20you%20tested.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22c%22%3A%20(%22It%20usually%20loads%20fine.%20That%20is%20the%20problem%3A%20a%20loud%20failure%20would%20be%20much%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22easier%20to%20deal%20with%20than%20a%20quiet%20one.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22d%22%3A%20(%22The%20weights%20are%20only%20one%20of%20four%20pieces.%20Without%20the%20other%20three%20you%20cannot%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reproduce%20the%20behaviour%20you%20measured%2C%20which%20means%20you%20cannot%20honestly%20claim%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20evaluation%20applies.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q3%22%2C%0A%20%20%20%20)%0A%20%20%20%20q3%0A%20%20%20%20return%20q3%2C%20q3_render%2C%20q3_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q3%2C%20q3_render)%3A%0A%20%20%20%20q3_render(q3.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%206%3A%20The%20failure%20that%20never%20crashes%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20model%20is%20deployed%20and%20the%20contracts%20held.%20One%20stage%20is%20left%2C%20and%20it%20is%20the%20one%20people%0A%20%20%20%20skip%2C%20because%20it%20does%20not%20feel%20like%20building%20anything.%0A%0A%20%20%20%20Here%20is%20the%20whole%20problem%20in%20one%20sentence%3A%20**a%20model%20going%20wrong%20does%20not%20look%20like%0A%20%20%20%20software%20going%20wrong.**%0A%0A%20%20%20%20When%20ordinary%20software%20breaks%2C%20something%20throws%2C%20a%20status%20code%20changes%2C%20an%20alert%20fires.%20The%0A%20%20%20%20normal%20monitoring%20you%20already%20know%20about%20catches%20it.%0A%0A%20%20%20%20When%20a%20model%20breaks%2C%20the%20server%20returns%20%60200%20OK%60%2C%20the%20response%20has%20the%20right%20shape%2C%20and%20the%0A%20%20%20%20numbers%20inside%20it%20are%20junk.%20Nothing%20throws%2C%20because%20nothing%20is%20broken%20in%20the%20sense%20that%0A%20%20%20%20code%20understands.%20The%20world%20simply%20moved%20away%20from%20the%20data%20the%20model%20learned%20on.%0A%0A%20%20%20%20Suppose%20one%20of%20the%20clinics%20upgrades%20its%20scanner.%20The%20new%20one%20is%20better%2C%20and%20its%20images%20are%0A%20%20%20%20brighter.%20Every%20single%20thing%20the%20deployment%20team%20monitors%20stays%20green.%0A%0A%20%20%20%20Drag%20the%20slider%20and%20watch%20what%20the%20server%20reports%2C%20and%20what%20is%20actually%20happening.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20shift%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%2040%2C%20value%3Dsaved.get(%22shift%22%2C%200)%2C%20step%3D2%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20much%20brighter%20the%20new%20scanner's%20images%20are%20(mean%20pixel%20intensity)%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20shift%0A%20%20%20%20return%20(shift%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(np%2C%20shift)%3A%0A%20%20%20%20%23%20Two%20samples%3A%20what%20the%20model%20was%20trained%20on%2C%20and%20what%20the%20new%20scanner%20sends.%0A%20%20%20%20%23%20A%20fixed%20seed%20keeps%20the%20reading%20stable%20while%20only%20the%20slider%20moves%20it.%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(8018)%0A%20%20%20%20N%20%3D%20200%0A%20%20%20%20baseline%20%3D%20_rng.normal(128.0%2C%2012.0%2C%20N)%0A%20%20%20%20current%20%3D%20_rng.normal(128.0%20%2B%20float(shift.value)%2C%2012.0%2C%20N)%0A%0A%20%20%20%20%23%20Two-sample%20Kolmogorov-Smirnov%20statistic%2C%20written%20out%20rather%20than%20imported%3A%0A%20%20%20%20%23%20the%20largest%20gap%20between%20the%20two%20samples'%20cumulative%20distributions.%0A%20%20%20%20_all%20%3D%20np.sort(np.concatenate(%5Bbaseline%2C%20current%5D))%0A%20%20%20%20_cdf_a%20%3D%20np.searchsorted(np.sort(baseline)%2C%20_all%2C%20side%3D%22right%22)%20%2F%20N%0A%20%20%20%20_cdf_b%20%3D%20np.searchsorted(np.sort(current)%2C%20_all%2C%20side%3D%22right%22)%20%2F%20N%0A%20%20%20%20ks_stat%20%3D%20float(np.max(np.abs(_cdf_a%20-%20_cdf_b)))%0A%0A%20%20%20%20%23%20The%20usual%205%20per%20cent%20threshold%20for%20two%20samples%20of%20size%20N%20each.%0A%20%20%20%20ks_critical%20%3D%201.36%20*%20np.sqrt((N%20%2B%20N)%20%2F%20(N%20*%20N))%0A%20%20%20%20drifted%20%3D%20ks_stat%20%3E%20ks_critical%0A%0A%20%20%20%20%23%20Accuracy%20is%20not%20observed%20in%20production%3B%20this%20is%20what%20it%20would%20be%20if%20anyone%20measured.%0A%20%20%20%20true_accuracy%20%3D%20max(95.0%20-%200.9%20*%20float(shift.value)%2C%2050.0)%0A%20%20%20%20return%20drifted%2C%20ks_critical%2C%20ks_stat%2C%20true_accuracy%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20drifted%2C%20ks_critical%2C%20ks_stat%2C%20mo%2C%20true_accuracy)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-status%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-stat%20green%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhat%20the%20server%20reports%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E200%20OK%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3E0%20errors%2C%20response%20shape%20correct%2C%20latency%20normal%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-stat%20%7B'red'%20if%20true_accuracy%20%3C%2090%20else%20'green'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhat%20is%20actually%20true%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Btrue_accuracy%3A.1f%7D%25%20correct%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Enobody%20in%20production%20is%20measuring%20this%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-stat%20%7B'red'%20if%20drifted%20else%20'green'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EDistribution%20check%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B'DRIFT'%20if%20drifted%20else%20'stable'%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22why%22%3Elargest%20gap%20%7Bks_stat%3A.3f%7D%2C%20alarm%20above%20%7Bks_critical%3A.3f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(drifted%2C%20mo%2C%20true_accuracy)%3A%0A%20%20%20%20if%20not%20drifted%20and%20true_accuracy%20%3E%3D%2094.0%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Nothing%20has%20changed%20yet.%20Both%20panels%20agree%2C%20which%20is%20the%20only%20time%20they%20ever%20do%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22without%20you%20having%20to%20think%20about%20it.%22%2C%20%22info%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20drifted%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**The%20distribution%20check%20has%20fired%20and%20the%20server%20has%20not%20noticed%20anything.**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22That%20single%20comparison%20is%20the%20difference%20between%20finding%20out%20today%20and%20finding%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22out%20when%20a%20clinic%20complains.%20Accuracy%20is%20at%20%7Btrue_accuracy%3A.1f%7D%20per%20cent%20and%20no%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22log%20line%20anywhere%20says%20so.%22%2C%20%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20shift%20is%20real%20but%20still%20small%20enough%20that%20the%20check%20tolerates%20it.%20Thresholds%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22are%20a%20judgement%3A%20set%20it%20tighter%20and%20you%20get%20woken%20up%20for%20nothing%2C%20looser%20and%20you%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22find%20out%20late.%22%2C%20%22info%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20that%20check%20actually%20is%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20It%20compares%20two%20sets%20of%20numbers%20and%20asks%20how%20far%20apart%20their%20shapes%20are.%0A%0A%20%20%20%20Line%20up%20the%20values%20the%20model%20was%20trained%20on.%20Line%20up%20the%20values%20arriving%20now.%20Walk%20along%20both%0A%20%20%20%20at%20once%2C%20keeping%20track%20of%20what%20fraction%20of%20each%20sample%20you%20have%20passed.%20The%20**largest%20gap%0A%20%20%20%20between%20those%20two%20running%20fractions**%20is%20the%20whole%20statistic.%20That%20is%20the%0A%20%20%20%20Kolmogorov-Smirnov%20two-sample%20test%2C%20and%20the%20notebook%20computes%20it%20above%20in%20four%20lines%20of%0A%20%20%20%20numpy%2C%20with%20no%20statistics%20library%20involved.%0A%0A%20%20%20%20Then%20you%20need%20a%20line%20to%20compare%20it%20against.%20For%20two%20samples%20of%20size%20%24n%24%20each%2C%20the%20conventional%0A%20%20%20%205%20per%20cent%20threshold%20is%0A%0A%20%20%20%20%24%24D_%7B%5C%5Ctext%7Bcrit%7D%7D%20%3D%201.36%20%5C%5Csqrt%7B%5C%5Cfrac%7B2n%7D%7Bn%5E2%7D%7D%24%24%0A%0A%20%20%20%20which%20for%20200%20samples%20each%20comes%20to%20about%200.136.%20Above%20that%2C%20a%20difference%20this%20large%20would%20be%0A%20%20%20%20surprising%20if%20nothing%20had%20changed%2C%20so%20something%20probably%20changed.%0A%0A%20%20%20%20**Three%20things%20worth%20keeping.**%0A%0A%20%20%20%20It%20compares%20**inputs**%2C%20not%20correctness.%20In%20production%20you%20almost%20never%20know%20the%20right%20answer%0A%20%20%20%20at%20the%20time%2C%20and%20usually%20not%20for%20weeks%20or%20months.%20Watching%20the%20inputs%20is%20the%20thing%20you%20can%20do%0A%20%20%20%20today.%0A%0A%20%20%20%20It%20tells%20you%20something%20moved%2C%20not%20what%20to%20do.%20Drift%20is%20a%20prompt%20to%20go%20and%20look%2C%20and%20roughly%0A%20%20%20%20half%20the%20time%20the%20honest%20conclusion%20is%20that%20the%20change%20is%20harmless.%0A%0A%20%20%20%20It%20closes%20the%20loop.%20A%20drift%20alarm%20is%20the%20arrow%20from%20monitoring%20back%20to%20data%20collection%2C%20and%20it%0A%20%20%20%20is%20the%20only%20part%20of%20the%20lifecycle%20that%20can%20start%20itself.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20naive%20monitoring%20looks%20like%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%60%60%60python%0A%20%20%20%20def%20predict_and_log(request)%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20features%20%3D%20extract_payload(request)%0A%20%20%20%20%20%20%20%20%20%20%20%20prediction%20%3D%20production_model(features)%0A%20%20%20%20%20%20%20%20%20%20%20%20logging.info(f%22Status%3A%20200%20%7C%20Output%20shape%3A%20%7Bprediction.shape%7D%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20prediction%0A%20%20%20%20%20%20%20%20except%20Exception%20as%20e%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20logging.error(f%22Status%3A%20500%20%7C%20Error%3A%20%7Be%7D%22)%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20Read%20what%20is%20being%20recorded.%20Whether%20the%20code%20threw%2C%20and%20what%20shape%20came%20out.%20Both%20of%20those%0A%20%20%20%20stay%20perfectly%20healthy%20while%20a%20scanner%20upgrade%20quietly%20halves%20the%20model's%20accuracy.%0A%0A%20%20%20%20This%20is%20not%20bad%20code.%20It%20is%20the%20right%20monitoring%20for%20a%20web%20service%2C%20applied%20to%20something%20that%0A%20%20%20%20is%20not%20only%20a%20web%20service.%20The%20missing%20line%20is%20one%20that%20looks%20at%20the%20*values*%20going%20in%20and%0A%20%20%20%20compares%20them%20with%20what%20the%20model%20was%20trained%20on.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q4%2C%20q4_render%2C%20q4_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20A%20clinic%20upgrades%20its%20scanner.%20Error%20rate%20stays%20at%20zero%2C%20latency%20is%20unchanged%2C%20accuracy%20has%20dropped%20by%20fifteen%20points.%20What%20catches%20this%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20exception%20handler%2C%20once%20the%20bad%20inputs%20cause%20a%20crash%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20latency%20dashboard%2C%20since%20the%20new%20images%20are%20larger%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20check%20that%20compares%20incoming%20values%20against%20the%20training%20distribution%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Nothing%20can%20catch%20it%3B%20you%20wait%20for%20users%20to%20report%20it%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%22%3A%20(%22There%20is%20nothing%20to%20catch.%20Brighter%20images%20are%20still%20valid%20images%2C%20so%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22code%20runs%20cleanly%20all%20the%20way%20through.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b%22%3A%20(%22Latency%20is%20about%20how%20long%20the%20work%20takes%2C%20not%20whether%20the%20answers%20are%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22right.%20It%20would%20sit%20perfectly%20flat%20through%20all%20of%20this.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22c%22%3A%20(%22That%20comparison%20is%20the%20only%20signal%20available%2C%20because%20the%20correct%20answers%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22are%20not%20known%20at%20prediction%20time.%20Watch%20the%20inputs%2C%20since%20they%20arrive%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22immediately.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22d%22%3A%20(%22That%20is%20what%20happens%20without%20a%20distribution%20check%2C%20and%20it%20is%20why%20this%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22matters.%20Waiting%20for%20complaints%20means%20months%20of%20wrong%20answers%20first.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q4%22%2C%0A%20%20%20%20)%0A%20%20%20%20q4%0A%20%20%20%20return%20q4%2C%20q4_render%2C%20q4_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q4%2C%20q4_render)%3A%0A%20%20%20%20q4_render(q4.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%207%3A%20Going%20round%20the%20loop%2C%20every%20week%2C%20without%20you%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Drift%20fires%2C%20so%20you%20retrain.%20Next%20month%20it%20fires%20again.%20This%20is%20the%20lifecycle%2C%20and%20doing%20it%0A%20%20%20%20by%20hand%20does%20not%20scale%20past%20about%20two%20people.%0A%0A%20%20%20%20So%20it%20gets%20automated%2C%20and%20here%20is%20the%20shape%20almost%20every%20ML%20workflow%20takes%3A%0A%0A%20%20%20%201.%20Pull%20last%20week's%20data%20from%20the%20warehouse%0A%20%20%20%202.%20Extract%20features%20from%20it%0A%20%20%20%203.%20Train%20model%20A%2C%20and%20train%20model%20B%0A%20%20%20%204.%20Compare%20A%20and%20B%20on%20the%20test%20set%0A%20%20%20%205.%20Deploy%20whichever%20won%0A%0A%20%20%20%20Two%20things%20about%20that%20list%20matter%20for%20how%20you%20run%20it.%0A%0A%20%20%20%20**The%20steps%20depend%20on%20each%20other.**%20Step%204%20is%20meaningless%20unless%203%20finished.%20Step%205%20is%0A%20%20%20%20actively%20dangerous%20unless%204%20finished.%0A%0A%20%20%20%20**Step%205%20depends%20on%20an%20outcome%2C%20not%20just%20on%20completion.**%20What%20gets%20deployed%20depends%20on%0A%20%20%20%20what%20the%20comparison%20said.%20That%20is%20a%20**conditional**%20dependency%2C%20and%20it%20is%20where%20the%20simple%0A%20%20%20%20tools%20stop%20being%20enough.%0A%0A%20%20%20%20Drawn%20out%2C%20the%20dependencies%20form%20a%20graph%20with%20arrows%20and%20no%20cycles%3A%20a%20**directed%20acyclic%0A%20%20%20%20graph**%2C%20which%20everyone%20calls%20a%20DAG.%20Directed%20because%20order%20matters%2C%20acyclic%20because%20a%20loop%0A%20%20%20%20would%20never%20finish.%20Every%20workflow%20tool%20you%20will%20meet%20asks%20you%20to%20describe%20your%20work%20as%0A%20%20%20%20one.%0A%0A%20%20%20%20Now%20the%20interesting%20part.%20Below%2C%20choose%20a%20step%20to%20fail%2C%20and%20compare%20what%20happens%20under%20a%0A%20%20%20%20plain%20timer%20against%20what%20happens%20under%20something%20that%20understands%20the%20graph.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_failures%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Nothing%20fails%22%3A%20%22none%22%2C%0A%20%20%20%20%20%20%20%20%22Step%201%20fails%3A%20the%20warehouse%20export%20is%20late%22%3A%20%221%22%2C%0A%20%20%20%20%20%20%20%20%22Step%202%20fails%3A%20a%20feature%20column%20changed%20type%22%3A%20%222%22%2C%0A%20%20%20%20%20%20%20%20%22Step%203a%20fails%3A%20model%20A%20runs%20out%20of%20memory%22%3A%20%223a%22%2C%0A%20%20%20%20%20%20%20%20%22Step%204%20fails%3A%20the%20test%20set%20is%20missing%22%3A%20%224%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20failure%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D_failures%2C%0A%20%20%20%20%20%20%20%20value%3Dpick(_failures%2C%20saved.get(%22failure%22))%20or%20%22Nothing%20fails%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22**Which%20step%20fails%20tonight%3F**%22%2C%0A%20%20%20%20)%0A%20%20%20%20failure%0A%20%20%20%20return%20(failure%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(failure)%3A%0A%20%20%20%20STEPS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%221%22%2C%20%22Pull%20last%20week's%20data%22)%2C%0A%20%20%20%20%20%20%20%20(%222%22%2C%20%22Extract%20features%22)%2C%0A%20%20%20%20%20%20%20%20(%223a%22%2C%20%22Train%20model%20A%22)%2C%0A%20%20%20%20%20%20%20%20(%223b%22%2C%20%22Train%20model%20B%22)%2C%0A%20%20%20%20%20%20%20%20(%224%22%2C%20%22Compare%20A%20and%20B%22)%2C%0A%20%20%20%20%20%20%20%20(%225%22%2C%20%22Deploy%20the%20winner%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20DEPS%20%3D%20%7B%221%22%3A%20%5B%5D%2C%20%222%22%3A%20%5B%221%22%5D%2C%20%223a%22%3A%20%5B%222%22%5D%2C%20%223b%22%3A%20%5B%222%22%5D%2C%20%224%22%3A%20%5B%223a%22%2C%20%223b%22%5D%2C%20%225%22%3A%20%5B%224%22%5D%7D%0A%0A%20%20%20%20def%20_downstream(start)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Every%20step%20that%20depends%20on%20%60start%60%2C%20directly%20or%20through%20others.%22%22%22%0A%20%20%20%20%20%20%20%20out%2C%20changed%20%3D%20%7Bstart%7D%2C%20True%0A%20%20%20%20%20%20%20%20while%20changed%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20changed%20%3D%20False%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_step%2C%20_parents%20in%20DEPS.items()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20_step%20not%20in%20out%20and%20any(p%20in%20out%20for%20p%20in%20_parents)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20out.add(_step)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20changed%20%3D%20True%0A%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20failed%20%3D%20failure.value%0A%20%20%20%20if%20failed%20%3D%3D%20%22none%22%3A%0A%20%20%20%20%20%20%20%20affected%20%3D%20set()%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20affected%20%3D%20_downstream(failed)%20-%20%7Bfailed%7D%0A%0A%20%20%20%20%23%20A%20scheduler%20knows%20the%20graph%2C%20so%20it%20stops.%20Cron%20knows%20only%20the%20clock%2C%20so%20every%0A%20%20%20%20%23%20later%20job%20still%20starts%20on%20time%2C%20using%20whatever%20files%20happen%20to%20be%20on%20disk.%0A%20%20%20%20sched_state%20%3D%20%7B%0A%20%20%20%20%20%20%20%20_id%3A%20(%22failed%22%20if%20_id%20%3D%3D%20failed%20else%20%22skipped%22%20if%20_id%20in%20affected%20else%20%22ran%22)%0A%20%20%20%20%20%20%20%20for%20_id%2C%20_%20in%20STEPS%0A%20%20%20%20%7D%0A%20%20%20%20cron_state%20%3D%20%7B%0A%20%20%20%20%20%20%20%20_id%3A%20(%22failed%22%20if%20_id%20%3D%3D%20failed%20else%20%22stale%22%20if%20_id%20in%20affected%20else%20%22ran%22)%0A%20%20%20%20%20%20%20%20for%20_id%2C%20_%20in%20STEPS%0A%20%20%20%20%7D%0A%20%20%20%20return%20STEPS%2C%20affected%2C%20cron_state%2C%20failed%2C%20sched_state%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20STEPS%2C%20cron_state%2C%20mo%2C%20sched_state)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20WORDS%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22ran%22%3A%20%22ran%22%2C%20%22failed%22%3A%20%22failed%22%2C%0A%20%20%20%20%20%20%20%20%22skipped%22%3A%20%22never%20started%22%2C%20%22stale%22%3A%20%22ran%20on%20last%20week's%20files%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20def%20_dag(state)%3A%0A%20%20%20%20%20%20%20%20%23%203a%20and%203b%20are%20the%20two%20training%20runs%20and%20sit%20side%20by%20side%20in%20the%20graph.%0A%20%20%20%20%20%20%20%20def%20_node(_id%2C%20_label)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_st%20%3D%20state%5B_id%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20(f'%3Cdiv%20class%3D%22w3-node%20%7B_st%7D%22%3E%3Cspan%20class%3D%22id%22%3E%7B_id%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22lab%22%3E%7B_label%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22st%22%3E%7BWORDS%5B_st%5D%7D%3C%2Fspan%3E%3C%2Fdiv%3E')%0A%0A%20%20%20%20%20%20%20%20_by_id%20%3D%20dict(STEPS)%0A%20%20%20%20%20%20%20%20_arrow%20%3D%20'%3Cspan%20class%3D%22w3-arrow%22%3E%26rarr%3B%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20'%3Cdiv%20class%3D%22w3-dag%22%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20_node(%221%22%2C%20_by_id%5B%221%22%5D)%20%2B%20_arrow%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20_node(%222%22%2C%20_by_id%5B%222%22%5D)%20%2B%20_arrow%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20'%3Cdiv%20class%3D%22pair%22%3E'%20%2B%20_node(%223a%22%2C%20_by_id%5B%223a%22%5D)%20%2B%20_node(%223b%22%2C%20_by_id%5B%223b%22%5D)%20%2B%20'%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20_arrow%20%2B%20_node(%224%22%2C%20_by_id%5B%224%22%5D)%20%2B%20_arrow%20%2B%20_node(%225%22%2C%20_by_id%5B%225%22%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20%2B%20'%3C%2Fdiv%3E'%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w3-runhead%22%3EWith%20a%20scheduler%2C%20which%20knows%20the%20graph%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%7B_dag(sched_state)%7D%0A%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w3-runhead%22%3EWith%20cron%2C%20which%20knows%20only%20the%20time%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%7B_dag(cron_state)%7D%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(affected%2C%20failed%2C%20mo)%3A%0A%20%20%20%20if%20failed%20%3D%3D%20%22none%22%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Everything%20runs%2C%20and%20both%20look%20identical.**%20They%20always%20do%20on%20a%20good%20night.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Pick%20a%20step%20to%20fail%2C%20because%20the%20difference%20only%20shows%20up%20on%20a%20bad%20one.%22%2C%20%22info%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20elif%20%225%22%20in%20affected%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**The%20scheduler%20stops.%20Cron%20deploys%20a%20model%20anyway.**%20Step%20%7Bfailed%7D%20failed%2C%20so%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Blen(affected)%7D%20later%20step%7B's'%20if%20len(affected)%20%3E%201%20else%20''%7D%20had%20nothing%20valid%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22to%20work%20with.%20The%20scheduler%20knows%20that%20and%20refuses%20to%20start%20them.%20Cron%20starts%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22them%20on%20time%20regardless%2C%20they%20read%20whatever%20files%20are%20still%20sitting%20on%20disk%20from%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22last%20week%2C%20and%20something%20gets%20deployed.%20Everything%20exits%20zero.%22%2C%20%22danger%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Step%20%7Bfailed%7D%20failed%20at%20the%20very%20end.**%20Nothing%20downstream%20was%20waiting%20on%20it%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22so%20both%20behave%20the%20same%20here.%20That%20is%20luck%2C%20not%20design.%22%2C%20%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Timers%2C%20schedulers%2C%20orchestrators%3A%20which%20is%20which%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20Three%20words%20that%20get%20used%20interchangeably%20and%20should%20not%20be.%0A%0A%20%20%20%20**cron**%20runs%20a%20command%20at%20a%20time%20you%20specify%2C%20and%20tells%20you%20whether%20it%20exited%20zero.%20That%20is%0A%20%20%20%20the%20entire%20feature%20set.%20It%20has%20no%20idea%20that%20step%204%20needs%20step%203%2C%20so%20it%20cannot%20wait%2C%20cannot%0A%20%20%20%20retry%20sensibly%2C%20and%20cannot%20stop%20the%20rest%20of%20the%20chain%20when%20something%20upstream%20fails.%0A%0A%20%20%20%20**A%20scheduler**%20is%20cron%20that%20understands%20dependencies.%20Give%20it%20the%20DAG%20and%20it%20works%20out%20what%0A%20%20%20%20can%20start%2C%20holds%20back%20what%20cannot%2C%20retries%20what%20is%20worth%20retrying%2C%20and%20stops%20the%20branch%20when%0A%20%20%20%20something%20fails%20for%20good.%20It%20also%20thinks%20about%20**resources**%3A%20this%20job%20needs%208%20GB%20and%20two%20CPUs%2C%0A%20%20%20%20so%20it%20waits%20for%20a%20machine%20with%208%20GB%20and%20two%20CPUs%20and%20queues%20it%20there.%20Slurm%20is%20the%20one%20you%20will%0A%20%20%20%20meet%20on%20a%20university%20cluster%2C%20where%20you%20write%20down%20the%20job%20name%2C%20the%20memory%20and%20the%20core%20count%0A%20%20%20%20and%20it%20finds%20you%20a%20slot.%0A%0A%20%20%20%20**An%20orchestrator**%20answers%20a%20different%20question.%20The%20scheduler%20decides%20*when*%20a%20job%20runs%20and%0A%20%20%20%20*what%20it%20needs*%3B%20the%20orchestrator%20decides%20*where%20the%20machines%20come%20from*.%20If%20there%20is%20more%20work%0A%20%20%20%20than%20machines%2C%20it%20starts%20more%20machines.%20Kubernetes%20is%20the%20one%20everybody%20means%20by%20this.%0A%0A%20%20%20%20They%20stack%3A%20a%20scheduler%20usually%20runs%20on%20top%20of%20an%20orchestrator.%20The%20reason%20the%20words%20blur%20is%0A%20%20%20%20that%20the%20real%20tools%20all%20reach%20a%20little%20into%20each%20other's%20territory.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20tools%20you%20will%20hear%20named%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20All%20of%20these%20are%20ways%20to%20write%20down%20a%20DAG%20and%20have%20something%20run%20it.%20The%20differences%20are%20real%0A%20%20%20%20but%20small%20next%20to%20the%20fact%20that%20they%20all%20do%20the%20same%20job.%0A%0A%20%20%20%20**Airflow**%20came%20first%2C%20in%202014%2C%20and%20is%20still%20everywhere.%20Workflows%20are%20written%20in%20Python%2C%0A%20%20%20%20which%20was%20a%20deliberate%20stand%20against%20configuration%20files.%20Its%20age%20shows%20in%20three%20places%3A%20the%0A%20%20%20%20whole%20workflow%20is%20packaged%20as%20one%20unit%2C%20so%20two%20steps%20cannot%20easily%20have%20different%20requirements%3B%0A%20%20%20%20workflows%20cannot%20take%20parameters%2C%20so%20running%20the%20same%20pipeline%20with%20a%20different%20learning%20rate%0A%20%20%20%20means%20writing%20a%20second%20pipeline%3B%20and%20the%20graph%20is%20fixed%20before%20it%20runs%2C%20so%20it%20cannot%20create%20a%0A%20%20%20%20step%20per%20record%20when%20it%20does%20not%20know%20how%20many%20records%20there%20are.%0A%0A%20%20%20%20**Argo**%20fixed%20the%20container%20problem.%20Every%20step%20runs%20in%20its%20own%20container%2C%20workflows%20take%0A%20%20%20%20parameters%2C%20and%20the%20graph%20can%20change%20as%20it%20runs.%20The%20cost%20is%20YAML%2C%20which%20gets%20long%2C%20and%20a%20hard%0A%20%20%20%20dependency%20on%20Kubernetes%2C%20which%20means%20you%20cannot%20easily%20run%20the%20same%20thing%20on%20your%20laptop.%0A%0A%20%20%20%20**Prefect**%20fixed%20the%20parameters%20problem%20while%20staying%20in%20Python%2C%20and%20is%20pleasant%20to%20use%2C%20but%0A%20%20%20%20containers%20are%20not%20its%20first%20concern.%0A%0A%20%20%20%20**Kubeflow**%20and%20**Metaflow**%20aim%20at%20the%20gap%20between%20your%20laptop%20and%20production%3A%20write%20it%20once%2C%0A%20%20%20%20run%20it%20small%20locally%20and%20large%20on%20the%20cluster.%0A%0A%20%20%20%20**MLflow**%20is%20a%20different%20animal%20and%20often%20confused%20with%20these.%20It%20is%20not%20a%20workflow%20runner.%20It%0A%20%20%20%20tracks%20experiments%2C%20stores%20metrics%20and%20parameters%2C%20and%20packages%20models%2C%20which%20is%20the%20artefact%0A%20%20%20%20side%20of%20Part%205%20rather%20than%20the%20scheduling%20side%20of%20Part%207.%0A%0A%20%20%20%20You%20do%20not%20need%20to%20choose%20one%20today.%20You%20need%20to%20recognise%20that%20%22Airflow%22%20or%20%22Argo%22%20is%20an%0A%20%20%20%20answer%20to%20%22how%20do%20we%20run%20the%20DAG%22%2C%20and%20not%20an%20answer%20to%20%22what%20should%20the%20DAG%20be%22.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Where%20all%20this%20actually%20runs%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20Underneath%20the%20workflow%20tools%20sit%20four%20layers%2C%20and%20it%20is%20worth%20knowing%20the%20names%20because%0A%20%20%20%20people%20will%20say%20them%20as%20if%20you%20already%20do.%0A%0A%20%20%20%20**Storage.**%20Where%20the%20data%20lives.%20For%20ML%20this%20usually%20means%20object%20storage%2C%20which%20is%20buckets%0A%20%20%20%20and%20objects%20rather%20than%20folders%20and%20files%3A%20S3%20in%20the%20cloud%2C%20or%20something%20like%20MinIO%20if%20you%20are%0A%20%20%20%20running%20your%20own.%20It%20has%20to%20cope%20with%20very%20large%20numerical%20arrays%2C%20with%20data%20types%20from%20tables%0A%20%20%20%20to%20images%20to%20audio%2C%20with%20versions%20of%20both%20datasets%20and%20models%2C%20and%20with%20a%20surprising%20volume%20of%0A%20%20%20%20intermediate%20junk%20like%20checkpoints%20and%20gradients.%0A%0A%20%20%20%20**Compute.**%20The%20machines.%20Measured%20in%20memory%20and%20in%20operations%20per%20second%2C%20and%20rented%20by%20the%0A%20%20%20%20hour%2C%20which%20is%20why%20cloud%20compute%20suits%20ML%20so%20well%3A%20experiments%20come%20in%20bursts%2C%20and%20you%20pay%20for%0A%20%20%20%20the%20burst%20rather%20than%20for%20a%20data%20centre%20that%20idles%20the%20rest%20of%20the%20year.%0A%0A%20%20%20%20**Resource%20management.**%20The%20schedulers%20and%20orchestrators%20from%20this%20part.%0A%0A%20%20%20%20**ML%20platform.**%20The%20shared%20tools%20every%20project%20in%20a%20company%20ends%20up%20needing%3A%20somewhere%20to%0A%20%20%20%20store%20models%2C%20somewhere%20to%20store%20features%2C%20somewhere%20to%20watch%20them.%20These%20usually%20get%20built%0A%20%20%20%20once%20by%20whichever%20team%20needed%20them%20first%2C%20and%20then%20everybody%20else%20adopts%20them.%0A%0A%20%20%20%20How%20much%20of%20this%20you%20need%20depends%20entirely%20on%20scale.%20One%20model%20for%20one%20app%20needs%20none%20of%20it.%0A%20%20%20%20A%20company%20handling%20terabytes%20a%20day%20with%20a%20hundred%20data%20scientists%20needs%20all%20four%2C%20and%20will%0A%20%20%20%20argue%20about%20them%20constantly.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q5%2C%20q5_render%2C%20q5_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20Your%20five%20steps%20run%20on%20cron%2C%20one%20per%20hour.%20Tonight%2C%20feature%20extraction%20fails.%20What%20happens%20at%203am%20when%20the%20deploy%20job%20fires%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Cron%20skips%20it%2C%20because%20the%20earlier%20job%20failed%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Cron%20retries%20feature%20extraction%20first%2C%20then%20continues%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20runs%20on%20schedule%20using%20last%20week's%20leftover%20files%2C%20and%20deploys%20something%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20waits%20until%20feature%20extraction%20succeeds%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%22%3A%20(%22cron%20does%20not%20know%20one%20job%20has%20anything%20to%20do%20with%20another.%20It%20knows%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22time%2C%20and%20at%203am%20it%20is%203am.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b%22%3A%20(%22Retrying%20on%20failure%20needs%20someone%20to%20know%20that%20a%20failure%20happened%20and%20that%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22it%20mattered.%20That%20is%20a%20scheduler's%20job%2C%20not%20a%20timer's.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22c%22%3A%20(%22This%20is%20the%20whole%20argument%20for%20schedulers.%20Every%20job%20exits%20zero%2C%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22pipeline%20looks%20successful%2C%20and%20a%20model%20trained%20on%20stale%20features%20is%20now%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22live.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22d%22%3A%20(%22Waiting%20for%20something%20means%20knowing%20what%20to%20wait%20for.%20cron%20has%20no%20concept%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22of%20one%20job%20depending%20on%20another.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q5%22%2C%0A%20%20%20%20)%0A%20%20%20%20q5%0A%20%20%20%20return%20q5%2C%20q5_render%2C%20q5_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q5%2C%20q5_render)%3A%0A%20%20%20%20q5_render(q5.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%208%3A%20Putting%20it%20to%20work%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20situation%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22Our%20trucks%20carry%20fresh%20produce%20through%20areas%20with%20no%20signal%20for%20hours.%20We%20want%20a%0A%20%20%20%20%20%20%20%20%20%20camera%20in%20the%20trailer%20that%20spots%20spoilage%20and%20alerts%20the%20driver.%20We%20have%20four%20hundred%0A%20%20%20%20%20%20%20%20%20%20trucks%2C%20so%20the%20board%20in%20each%20one%20has%20to%20be%20cheap%3A%20a%20small%20ARM%20computer%2C%201%20GB%20of%0A%20%20%20%20%20%20%20%20%20%20memory%2C%20no%20accelerator.%20The%20camera%20gives%20us%204K%20at%20thirty%20frames%20a%20second.%20The%20data%0A%20%20%20%20%20%20%20%20%20%20science%20team%20has%20handed%20us%20a%20model%20that%20is%2099%20per%20cent%20accurate%2C%20takes%202%20GB%2C%20and%0A%20%20%20%20%20%20%20%20%20%20needs%20400%20ms%20per%20frame%20on%20that%20board.%20They%20developed%20it%20on%20a%20cloud%20GPU.%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Before%20choosing%2C%20notice%20what%20is%20actually%20broken%2C%20and%20by%20how%20much.%0A%0A%20%20%20%20%7C%20What%20was%20promised%20%7C%20What%20the%20model%20does%20%7C%20Over%20by%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%2033%20ms%20per%20frame%2C%20which%20is%20what%20thirty%20a%20second%20means%20%7C%20400%20ms%20per%20frame%20%7C%2012%20times%20%7C%0A%20%20%20%20%7C%201%20GB%20of%20memory%20on%20the%20board%20%7C%202%20GB%20%7C%202%20times%20%7C%0A%0A%20%20%20%20The%20timing%20is%20the%20bad%20one%2C%20and%20it%20is%20bad%20enough%20that%20no%20amount%20of%20shrinking%20reaches%20it.%20On%0A%20%20%20%20top%20of%20that%20the%20board%20cannot%20be%20changed%20cheaply%20and%20the%20network%20is%20not%20there%20at%20all.%0A%0A%20%20%20%20So%20one%20of%20the%20four%20requirements%20has%20to%20give%2C%20and%20which%20one%20you%20pick%20says%20what%20you%20think%20the%0A%20%20%20%20system%20is%20for.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_saved%20%3D%20saved.get(%22decision%22)%20or%20%7B%7D%0A%20%20%20%20_choices%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Change%20the%20system%3A%20a%20tiny%20model%20checks%20each%20frame%2C%20the%20big%20one%20only%20looks%20at%20suspicious%20regions%22%3A%20%22system%22%2C%0A%20%20%20%20%20%20%20%20%22Change%20the%20requirement%3A%20check%20one%20frame%20a%20second%20instead%20of%20thirty%2C%20because%20produce%20spoils%20over%20hours%22%3A%20%22requirement%22%2C%0A%20%20%20%20%20%20%20%20%22Change%20the%20machine%3A%20pay%20for%20a%20better%20processor%20in%20every%20truck%22%3A%20%22machine%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20decision_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%7Bchoice%7D%0A%0A%20%20%20%20%20%20%20%20%7Bwhy%7D%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%3Dmo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D_choices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_choices%2C%20_saved.get(%22choice%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**What%20would%20you%20do%3F**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20why%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22why%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22Which%20requirement%20did%20you%20decide%20was%20negotiable%2C%20and%20what%20makes%20you%20think%20so%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Why%3F**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Submit%20my%20decision%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20one%20of%20the%20three.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20v%20or%20v.get(%22choice%22)%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20your%20reasoning%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20(v.get(%22why%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20decision_form%0A%20%20%20%20return%20(decision_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20(decision_form.value%20or%20saved.get(%22decision%22))%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Pick%20an%20answer%2C%20say%20why%2C%20then%20press%20**Submit%20my%20decision**.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20decision_choice%20%3D%20(decision_form.value%20or%20saved.get(%22decision%22))%5B%22choice%22%5D%0A%20%20%20%20decision_why%20%3D%20(decision_form.value%20or%20saved.get(%22decision%22))%5B%22why%22%5D.strip()%0A%20%20%20%20return%20decision_choice%2C%20decision_why%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20mo)%3A%0A%20%20%20%20_notes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22system%22%3A%20(%22The%20engineer's%20answer%2C%20and%20it%20works%3A%20a%20cheap%20model%20on%20every%20frame%2C%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22expensive%20one%20only%20where%20something%20looks%20wrong.%20Be%20honest%20about%20the%20cost%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22though.%20You%20now%20have%20two%20models%2C%20two%20sets%20of%20weights%20to%20keep%20in%20step%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22a%20new%20failure%20mode%20where%20the%20cheap%20model%20misses%20something%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22expensive%20one%20never%20gets%20asked.%20The%202%20GB%20problem%20is%20also%20still%20sitting%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22there%2C%20so%20this%20has%20to%20be%20combined%20with%20making%20the%20big%20model%20fit.%22)%2C%0A%20%20%20%20%20%20%20%20%22requirement%22%3A%20(%22The%20cheapest%20fix%20available%2C%20and%20the%20one%20most%20teams%20argue%20about%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22longest.%20Nobody%20chose%20thirty%20frames%20a%20second%20because%20spoilage%20needs%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22it%3B%20it%20is%20what%20the%20camera%20does%20by%20default.%20Produce%20rots%20over%20hours%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22so%20one%20frame%20a%20second%20is%20already%203%2C600%20looks%20an%20hour%20at%20the%20same%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22thing.%20That%20single%20sentence%20buys%20you%201%2C000%20ms%20per%20frame%20against%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22400%20ms%20model%2C%20and%20the%20entire%20timing%20problem%20disappears%20without%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22line%20of%20code.%20Memory%20is%20still%20a%20real%20problem%20and%20still%20needs%20Week%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%222's%20answers.%22)%2C%0A%20%20%20%20%20%20%20%20%22machine%22%3A%20(%22Sometimes%20correct%2C%20and%20worth%20pricing%20rather%20than%20dismissing.%20But%20count%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20fleet.%20Whatever%20the%20better%20board%20costs%2C%20multiply%20it%20by%20four%20hundred%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22then%20add%20fitting%20it%2C%20maintaining%20it%2C%20and%20the%20extra%20power%20it%20draws%20in%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22vehicle.%20And%20to%20close%20a%20twelve-fold%20timing%20gap%20you%20are%20not%20looking%20at%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22slightly%20better%20board.%20It%20also%20leaves%20the%20underlying%20problem%20untouched%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22a%20model%20developed%20on%20a%20cloud%20GPU%20with%20no%20target%20hardware%20in%20mind%20will%20do%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22this%20again%20next%20year.%22)%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20On%20your%20answer%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(_notes%5Bdecision_choice%5D)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22All%20three%20are%20used%20in%20real%20systems%2C%20and%20the%20exercise%20was%20never%20about%20picking%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22right%20one.%20It%20was%20about%20noticing%20that%20**the%20thirty%20frames%20a%20second%20was%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22requirement%20nobody%20had%20checked**%2C%20and%20that%20a%20requirement%20is%20a%20thing%20you%20are%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22allowed%20to%20question%20before%20you%20spend%20six%20weeks%20building%20around%20it.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_%20%3D%20decision_choice%0A%20%20%20%20_saved%20%3D%20saved.get(%22reflection%22)%20or%20%7B%7D%0A%20%20%20%20reflect_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%7Btakeaway%7D%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22takeaway%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22The%20stage%20that%20has%20to%20be%20redone%20is...%20because...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Last%20one.**%20Name%20one%20stage%20*upstream*%20of%20your%20fix%20that%20now%20has%20to%20be%20redone%2C%20and%20say%20what%20specifically%20changes%20in%20it.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Finish%20the%20lab%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20if%20v%20and%20(v.get(%22takeaway%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20a%20sentence%20or%20two%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20reflect_form%0A%20%20%20%20return%20(reflect_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20reflect_form%2C%20saved)%3A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20(reflect_form.value%20or%20saved.get(%22reflection%22))%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Answer%20the%20last%20question%20to%20finish.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20takeaway_text%20%3D%20(reflect_form.value%20or%20saved.get(%22reflection%22))%5B%22takeaway%22%5D.strip()%0A%20%20%20%20done%20%3D%20True%0A%20%20%20%20return%20done%2C%20takeaway_text%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20accuracy%2C%0A%20%20%20%20chosen%2C%0A%20%20%20%20decision_choice%2C%0A%20%20%20%20decision_why%2C%0A%20%20%20%20done%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20q1%2C%0A%20%20%20%20q1_sum%2C%0A%20%20%20%20q2%2C%0A%20%20%20%20q2_sum%2C%0A%20%20%20%20q3%2C%0A%20%20%20%20q3_sum%2C%0A%20%20%20%20q4%2C%0A%20%20%20%20q4_sum%2C%0A%20%20%20%20q5%2C%0A%20%20%20%20q5_sum%2C%0A%20%20%20%20reopened%2C%0A%20%20%20%20shippable%2C%0A%20%20%20%20size_mb%2C%0A%20%20%20%20takeaway_text%2C%0A)%3A%0A%20%20%20%20_%20%3D%20done%0A%0A%20%20%20%20def%20_check(summary)%3A%0A%20%20%20%20%20%20%20%20text%2C%20ok%20%3D%20summary%0A%20%20%20%20%20%20%20%20if%20ok%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22%3Cem%3Enot%20answered%3C%2Fem%3E%22%0A%20%20%20%20%20%20%20%20mark%20%3D%20'%3Cspan%20class%3D%22tick%22%3Eright%3C%2Fspan%3E'%20if%20ok%20else%20'%3Cspan%20class%3D%22cross%22%3Ewrong%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20return%20f%22%7Btext%7D%20(%7Bmark%7D)%22%0A%0A%20%20%20%20_where%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22system%22%3A%20%22Change%20the%20system%2C%20with%20a%20cheap%20trigger%20model%22%2C%0A%20%20%20%20%20%20%20%20%22requirement%22%3A%20%22Change%20the%20requirement%2C%20one%20frame%20a%20second%22%2C%0A%20%20%20%20%20%20%20%20%22machine%22%3A%20%22Change%20the%20machine%2C%20a%20better%20processor%20per%20truck%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_fix_names%20%3D%20%22%2C%20%22.join(_n%20for%20_n%2C%20*_%20in%20chosen)%20or%20%22none%22%0A%20%20%20%20_stage_names%20%3D%20%22%2C%20%22.join(sorted(reopened%20-%20%7B%22Deployment%22%7D))%20or%20%22none%20beyond%20deployment%22%0A%20%20%20%20_verdict%20%3D%20%22ships%22%20if%20shippable%20else%20%22does%20not%20ship%22%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Your%20Week%203%20report%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w3-report%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EFixes%20you%20applied%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_fix_names%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhere%20that%20left%20you%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bsize_mb%3A.0f%7D%20MB%20at%20%7Baccuracy%3A.1f%7D%20per%20cent%2C%20which%20%7B_verdict%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EStages%20reopened%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_stage_names%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EThe%20truck%20decision%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_where.get(decision_choice%2C%20decision_choice)%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhy%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Bdecision_why%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhat%20has%20to%20be%20redone%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Btakeaway_text%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%201%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q1_sum(q1.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%202%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q2_sum(q2.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%203%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q3_sum(q3.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%204%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q4_sum(q4.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%205%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q5_sum(q5.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20lab_sync%2C%20locked%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20submit_button%20%3D%20mo.ui.run_button(%0A%20%20%20%20%20%20%20%20label%3D%22Submit%20my%20work%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlab_sync%20is%20None%20or%20locked%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%22Send%20your%20answers%20to%20your%20instructor%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Submit%20your%20work%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Your%20answers%20have%20been%20saving%20as%20you%20went.%20When%20you%20are%20happy%20with%20them%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22press%20the%20button%20to%20hand%20the%20lab%20in.%20You%20can%20change%20answers%20and%20submit%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22again%20until%20your%20instructor%20locks%20the%20lab.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20submit_button%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(submit_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20lab_status%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20locked%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20reflect_form%2C%0A%20%20%20%20saved%2C%0A%20%20%20%20submit_button%2C%0A)%3A%0A%20%20%20%20%23%20Runs%20when%20the%20button%20is%20pressed%2C%20and%20otherwise%20just%20says%20where%20things%20stand.%0A%20%20%20%20if%20lab_sync%20is%20None%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20copy%20of%20the%20lab%20is%20not%20connected%20to%20the%20course%20site%2C%20so%20it%20cannot%20be%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted%20from%20here.%22%2C%20%22neutral%22)%0A%20%20%20%20elif%20submit_button.value%3A%0A%20%20%20%20%20%20%20%20_reply%20%3D%20await%20lab_sync.submit(%0A%20%20%20%20%20%20%20%20%20%20%20%20reflection%3Dreflect_form.value%20or%20saved.get(%22reflection%22)%2C%20finished%3DTrue)%0A%20%20%20%20%20%20%20%20if%20_reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Submitted.**%20Your%20instructor%20can%20see%20your%20work.%22%2C%20%22success%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22locked%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted.**%20Your%20instructor%20has%20locked%20this%20lab.%22%2C%20%22danger%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Not%20submitted%3A**%20%7B_reply.get('error'%2C%20'something%20went%20wrong')%7D.%20Your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20are%20still%20saved.%20Press%20**Submit%20my%20work**%20to%20try%20again.%22%2C%20%22danger%22)%0A%20%20%20%20elif%20lab_sync.last_submitted%20or%20lab_status.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20_when%20%3D%20str(lab_sync.last_submitted%20or%20lab_status.get(%22submittedAt%22)%20or%20%22%22)%5B%3A10%5D%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Submitted%20on%20%7B_when%7D.**%20Changed%20something%20since%3F%20Press%20**Submit%20my%20work**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22again.%22%2C%20%22success%22)%0A%20%20%20%20elif%20locked%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22Your%20instructor%20has%20locked%20this%20lab%2C%20so%20it%20can%20no%20longer%20be%20submitted.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted%20yet.**%20Press%20**Submit%20my%20work**%20when%20you%20are%20done.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Check%20yourself%22)%2C%0A%20%20%20%20%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20is%20the%20difference%20between%20the%20workflow%20and%20the%20lifecycle%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20workflow%20is%20the%20five%20stages%3A%20data%20collection%2C%20model%20development%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22evaluation%2C%20deployment%2C%20monitoring.%20The%20lifecycle%20is%20going%20round%20them%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22repeatedly%2C%20because%20monitoring%20feeds%20back%20into%20data%20collection.%20A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22project%20that%20treats%20the%20five%20as%20a%20line%20finishes%20once%20and%20then%20rots.%20A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22project%20that%20treats%20them%20as%20a%20circle%20has%20somewhere%20for%20a%20drift%20alarm%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22go.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20can%20a%20constraint%20discovered%20at%20deployment%20not%20usually%20be%20fixed%20at%20deployment%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20deployment%20has%20almost%20no%20freedom%20left.%20The%20architecture%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22chosen%2C%20the%20data%20is%20collected%2C%20the%20model%20is%20trained.%20All%20that%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22available%20there%20are%20small%20fixed-ratio%20tricks%20like%20quantisation.%20If%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22gap%20is%20larger%20than%20those%20tricks%2C%20the%20constraint%20has%20to%20travel%20back%20to%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22stage%20that%20still%20has%20real%20choices%20to%20make%2C%20and%20in%20this%20lab%20the%20only%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22combinations%20that%20worked%20were%20the%20ones%20that%20reached%20back%20as%20far%20as%20data%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22collection.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Someone%20hands%20you%20a%20weights%20file%20and%20says%20the%20model%20is%20done.%20What%20do%20you%20ask%20for%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20inference%20code%2C%20including%20preprocessing%3B%20the%20environment%2C%20meaning%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22library%20versions%20and%20drivers%2C%20usually%20as%20a%20container%3B%20and%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22configuration%2C%20meaning%20hyperparameters%20and%20thresholds.%20Without%20all%20four%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22you%20cannot%20reproduce%20the%20behaviour%20that%20was%20measured%2C%20so%20the%20evaluation%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22you%20were%20shown%20does%20not%20describe%20what%20production%20will%20do.%20Nothing%20about%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22this%20failure%20is%20loud%2C%20which%20is%20exactly%20why%20you%20have%20to%20ask%20up%20front.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20is%20monitoring%20an%20ML%20system%20different%20from%20monitoring%20a%20web%20service%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20web%20service%20fails%20loudly%3A%20it%20throws%2C%20it%20returns%20a%20500%2C%20latency%20spikes.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22A%20model%20fails%20silently%3A%20the%20code%20runs%2C%20the%20response%20has%20the%20right%20shape%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20the%20values%20in%20it%20are%20wrong%20because%20the%20world%20moved.%20Standard%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22monitoring%20catches%20none%20of%20that%2C%20so%20you%20watch%20the%20input%20distribution%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22instead%2C%20since%20the%20inputs%20arrive%20immediately%20and%20the%20correct%20answers%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22often%20never%20do.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20does%20a%20workflow%20need%20a%20scheduler%20rather%20than%20a%20timer%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20the%20steps%20depend%20on%20each%20other%20and%20one%20of%20them%20depends%20on%20an%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22outcome%20rather%20than%20on%20completion.%20A%20timer%20runs%20each%20job%20when%20its%20clock%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22says%20so%2C%20whether%20or%20not%20the%20job%20it%20needed%20has%20produced%20anything%2C%20which%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22is%20how%20a%20model%20trained%20on%20stale%20features%20ends%20up%20deployed%20with%20every%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22exit%20code%20at%20zero.%20A%20scheduler%20takes%20the%20DAG%2C%20holds%20back%20what%20cannot%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22start%2C%20retries%20what%20is%20worth%20retrying%2C%20and%20stops%20the%20branch%20when%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22something%20genuinely%20failed.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20decision_form%2C%0A%20%20%20%20failure%2C%0A%20%20%20%20fix_arch%2C%0A%20%20%20%20fix_prune%2C%0A%20%20%20%20fix_quant%2C%0A%20%20%20%20fix_res%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20part_code%2C%0A%20%20%20%20part_config%2C%0A%20%20%20%20part_env%2C%0A%20%20%20%20part_weights%2C%0A%20%20%20%20q1%2C%0A%20%20%20%20q2%2C%0A%20%20%20%20q3%2C%0A%20%20%20%20q4%2C%0A%20%20%20%20q5%2C%0A%20%20%20%20shift%2C%0A)%3A%0A%20%20%20%20%23%20Answers%20that%20are%20on%20the%20page%20from%20the%20start.%20A%20form's%20value%20is%20None%20until%0A%20%20%20%20%23%20it%20is%20submitted%20in%20this%20visit%2C%20so%20it%20is%20only%20recorded%20once%20it%20has%20one.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record(q1%3Dq1.value%2C%20q2%3Dq2.value%2C%20q3%3Dq3.value%2C%20q4%3Dq4.value%2C%20q5%3Dq5.value%2C%20fix_quant%3Dfix_quant.value%2C%20fix_prune%3Dfix_prune.value%2C%20fix_arch%3Dfix_arch.value%2C%20fix_res%3Dfix_res.value%2C%20part_weights%3Dpart_weights.value%2C%20part_code%3Dpart_code.value%2C%20part_env%3Dpart_env.value%2C%20part_config%3Dpart_config.value%2C%20shift%3Dshift.value%2C%20failure%3Dfailure.value)%0A%20%20%20%20%20%20%20%20if%20decision_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(decision%3Ddecision_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(lab_sync%2C%20reflect_form)%3A%0A%20%20%20%20%23%20The%20last%20question%20only%20exists%20once%20the%20decision%20is%20in.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20if%20reflect_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(reflection%3Dreflect_form.value)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A