Week 1: Why the Model Is Not the System

Week 1: Why the Model Is Not the System - CSC/EE 8001

import%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Week%201%20-%20Why%20the%20Model%20Is%20Not%20the%20System%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20math%0A%20%20%20%20import%20json%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20urllib.parse%20import%20quote%0A%0A%20%20%20%20return%20json%2C%20mo%2C%20np%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(json%2C%20mo)%3A%0A%20%20%20%20%23%20Progress%20saving.%20On%20the%20course%20site%2C%20labs%2Fgate%2Fgate.js%20signs%20the%20student%20in%0A%20%20%20%20%23%20and%20tags%20this%20tab%20with%20an%20%22rl%22%20query%20parameter.%20The%20notebook%20runs%20in%20a%20web%0A%20%20%20%20%23%20worker%2C%20so%20it%20talks%20to%20that%20script%20over%20a%20BroadcastChannel%20named%20after%20the%0A%20%20%20%20%23%20tag%2C%20and%20the%20script%20makes%20the%20API%20calls.%20Opened%20any%20other%20way%20(marimo%20edit%2C%0A%20%20%20%20%23%20a%20plain%20export)%20there%20is%20no%20tag%20and%20nothing%20is%20saved.%0A%20%20%20%20import%20sys%20as%20_sys%0A%0A%20%20%20%20class%20LabSync%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20tab)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20js%20import%20BroadcastChannel%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.ffi%20import%20create_proxy%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel%20%3D%20BroadcastChannel.new(%22radiant-lab-%22%20%2B%20tab)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._listener%20%3D%20create_proxy(self._receive)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.onmessage%20%3D%20self._listener%0A%0A%20%20%20%20%20%20%20%20def%20_receive(self%2C%20event)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20json.loads(event.data)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20(TypeError%2C%20ValueError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%0A%20%20%20%20%20%20%20%20%20%20%20%20waiting%20%3D%20self._waiting.pop(message.get(%22id%22)%2C%20None)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20waiting%20is%20not%20None%20and%20not%20waiting.done()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20waiting.set_result(message)%0A%0A%20%20%20%20%20%20%20%20def%20_send(self%2C%20op%2C%20message_id%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20%7B%22id%22%3A%20message_id%2C%20%22op%22%3A%20op%2C%20%22from%22%3A%20%22notebook%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20message.update(fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.postMessage(json.dumps(message))%0A%0A%20%20%20%20%20%20%20%20async%20def%20_request(self%2C%20op%2C%20timeout%3DNone%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20asyncio%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20message_id%20%3D%20uuid.uuid4().hex%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20asyncio.get_event_loop().create_future()%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%5Bmessage_id%5D%20%3D%20reply%0A%20%20%20%20%20%20%20%20%20%20%20%20self._send(op%2C%20message_id%2C%20**fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20await%20(reply%20if%20timeout%20is%20None%20else%20asyncio.wait_for(reply%2C%20timeout))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20asyncio.TimeoutError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%22ok%22%3A%20False%2C%20%22error%22%3A%20%22the%20page%20did%20not%20answer%20in%20time%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._waiting.pop(message_id%2C%20None)%0A%0A%20%20%20%20%20%20%20%20async%20def%20load(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Wait%20for%20sign-in%2C%20then%20return%20what%20this%20student%20saved%20before.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22load%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20dict(reply.get(%22state%22)%20or%20%7B%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20%20%20%20%20def%20record(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Remember%20these%20answers%3B%20the%20page%20saves%20them%20a%20moment%20later.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20changed%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20k%20not%20in%20self.state%20or%20self.state%5Bk%5D%20!%3D%20v%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20changed%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(changed)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._send(%22save%22%2C%20uuid.uuid4().hex%2C%20state%3Dself.state)%0A%0A%20%20%20%20%20%20%20%20async%20def%20submit(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Save%20everything%20now%20and%20mark%20the%20lab%20as%20submitted.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(answers)%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22submit%22%2C%20timeout%3D45%2C%20state%3Dself.state)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20reply.get(%22submittedAt%22)%20or%20%22today%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20def%20pick(options%2C%20value)%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20label%20a%20radio%20should%20show%20for%20a%20saved%20value%2C%20or%20None.%22%22%22%0A%20%20%20%20%20%20%20%20return%20next((label%20for%20label%2C%20v%20in%20options.items()%20if%20v%20%3D%3D%20value)%2C%20None)%0A%0A%20%20%20%20lab_sync%20%3D%20None%0A%20%20%20%20lab_status%20%3D%20%7B%7D%0A%20%20%20%20saved%20%3D%20%7B%7D%0A%20%20%20%20locked%20%3D%20False%0A%20%20%20%20_tab%20%3D%20mo.query_params().get(%22rl%22)%20if%20%22pyodide%22%20in%20_sys.modules%20else%20None%0A%20%20%20%20if%20_tab%3A%0A%20%20%20%20%20%20%20%20lab_sync%20%3D%20LabSync(_tab)%0A%20%20%20%20%20%20%20%20lab_status%20%3D%20await%20lab_sync.load()%0A%20%20%20%20%20%20%20%20saved%20%3D%20dict(lab_sync.state)%0A%20%20%20%20%20%20%20%20locked%20%3D%20bool(lab_status.get(%22locked%22))%0A%20%20%20%20return%20lab_status%2C%20lab_sync%2C%20locked%2C%20pick%2C%20saved%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20def%20ask(prompt%2C%20options%2C%20correct%2C%20explain%2C%20key)%3A%0A%20%20%20%20%20%20%20%20%22%22%22A%20quick%20check%20you%20can%20answer%20as%20many%20times%20as%20you%20like.%0A%0A%20%20%20%20%20%20%20%20These%20are%20for%20thinking%20with%2C%20not%20for%20marking.%20The%20graded%20quiz%20lives%20in%0A%20%20%20%20%20%20%20%20Canvas%2C%20so%20there%20is%20nothing%20to%20protect%20here%3A%20changing%20your%20mind%20and%20seeing%0A%20%20%20%20%20%20%20%20why%20the%20other%20answer%20was%20wrong%20is%20the%20whole%20point.%0A%0A%20%20%20%20%20%20%20%20Returns%20(radio%2C%20render%2C%20summarise).%20Pass%20radio.value%20to%20render()%3B%20the%0A%20%20%20%20%20%20%20%20report%20uses%20summarise()%20to%20include%20the%20answer%20at%20the%20end%20of%20the%20lab.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20labels%20%3D%20%7Bvalue%3A%20label%20for%20label%2C%20value%20in%20options.items()%7D%0A%20%20%20%20%20%20%20%20BREAK%20%3D%20chr(10)%20%2B%20chr(10)%20%20%20%20%20%20%20%20%20%20%23%20a%20blank%20line%2C%20i.e.%20a%20new%20paragraph%0A%0A%20%20%20%20%20%20%20%20radio%20%3D%20mo.ui.radio(options%3Doptions%2C%20label%3Dprompt%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(options%2C%20saved.get(key))%2C%20disabled%3Dlocked)%0A%0A%20%20%20%20%20%20%20%20def%20render(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Pick%20an%20answer%20and%20I%20will%20explain%20it.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22neutral%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20ok%20%3D%20value%20%3D%3D%20correct%0A%20%20%20%20%20%20%20%20%20%20%20%20body%20%3D%20(%22**Correct.**%20%22%20if%20ok%20else%20%22**Not%20quite.**%20%22)%20%2B%20explain%5Bvalue%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20body%20%2B%3D%20BREAK%20%2B%20f%22The%20answer%20is%20*%7Blabels%5Bcorrect%5D%7D*.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(body)%2C%20kind%3D%22success%22%20if%20ok%20else%20%22warn%22)%0A%0A%20%20%20%20%20%20%20%20def%20summarise(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22(what%20they%20picked%2C%20whether%20it%20was%20right)%20for%20the%20end-of-lab%20report.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22not%20answered%22%2C%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20labels%5Bvalue%5D%2C%20value%20%3D%3D%20correct%0A%0A%20%20%20%20%20%20%20%20return%20radio%2C%20render%2C%20summarise%0A%0A%20%20%20%20return%20(ask%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20LAB_CSS%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20%20%20%20%20.rl-hero%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%206px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fffef8%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-eyebrow%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.08em%3B%20text-transform%3A%20uppercase%3B%20margin%3A%200%200%208px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-hero%20h1%20%7B%20margin%3A%200%200%208px%3B%20font-size%3A%201.75rem%3B%20color%3A%20%23111%3B%20line-height%3A%201.2%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-hero%20p.sub%20%7B%20margin%3A%200%3B%20color%3A%20%233a3a3a%3B%20font-size%3A%201.02rem%3B%20line-height%3A%201.65%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.rl-grid2%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%201fr%201fr%3B%20gap%3A%2016px%3B%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20860px)%20%7B%20.rl-grid2%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.rl-card%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2016px%2018px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-card%20h4%20%7B%20margin%3A%200%200%208px%3B%20font-size%3A%201.02rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-card%20p%20%7B%20margin%3A%200%3B%20color%3A%20%233a3a3a%3B%20font-size%3A%20.95rem%3B%20line-height%3A%201.6%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-card%20ul%20%7B%20margin%3A%206px%200%200%3B%20padding-left%3A%2018px%3B%20color%3A%20%233a3a3a%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%20.95rem%3B%20line-height%3A%201.6%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-card-bad%20%20%7B%20background%3A%20%23fef6f6%3B%20border-left%3A%205px%20solid%20%23c62828%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-card-good%20%7B%20background%3A%20%23f6fbf7%3B%20border-left%3A%205px%20solid%20%232e7d32%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.rl-steps%20%7B%20counter-reset%3A%20rlstep%3B%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-step%20%7B%20position%3A%20relative%3B%20padding%3A%2014px%200%2014px%2048px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-bottom%3A%201px%20solid%20%23f0f0f0%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-step%3Alast-child%20%7B%20border-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-step%3A%3Abefore%20%7B%20counter-increment%3A%20rlstep%3B%20content%3A%20counter(rlstep)%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20position%3A%20absolute%3B%20left%3A%200%3B%20top%3A%2014px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20width%3A%2032px%3B%20height%3A%2032px%3B%20border-radius%3A%2050%25%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23f1b82d%3B%20color%3A%20%23111%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20display%3A%20flex%3B%20align-items%3A%20center%3B%20justify-content%3A%20center%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-step%20h5%20%7B%20margin%3A%200%200%204px%3B%20font-size%3A%201rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-step%20p%20%7B%20margin%3A%200%3B%20color%3A%20%23444%3B%20font-size%3A%20.95rem%3B%20line-height%3A%201.6%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.rl-kpi%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(3%2C%201fr)%3B%20gap%3A%2012px%3B%20margin%3A%2010px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20860px)%20%7B%20.rl-kpi%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-kpi%20div%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2010px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fff%3B%20padding%3A%2012px%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-kpi%20.k%20%7B%20color%3A%20%234a4a4a%3B%20font-size%3A%20.76rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.05em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-kpi%20.v%20%7B%20color%3A%20%23111%3B%20font-size%3A%201.4rem%3B%20font-weight%3A%20800%3B%20line-height%3A%201.25%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-kpi%20.n%20%7B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.82rem%3B%20line-height%3A%201.4%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-ok%20%20%20%7B%20border-left%3A%205px%20solid%20%232e7d32%20!important%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-bad%20%20%7B%20border-left%3A%205px%20solid%20%23c62828%20!important%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.rl-split%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%201.6fr%201fr%3B%20gap%3A%2024px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20start%3B%20margin%3A%204px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.rl-split%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-split%20%3E%20.body%20p%20%7B%20margin%3A%200%200%2012px%3B%20color%3A%20%232f2f2f%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%201rem%3B%20line-height%3A%201.7%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-split%20%3E%20.body%20p%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.rl-aside%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%204px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fcfcfc%3B%20padding%3A%2015px%2017px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-aside%20h4%20%7B%20margin%3A%200%200%2010px%3B%20padding-left%3A%2024px%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20letter-spacing%3A%20.06em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-aside%20ol%20%7B%20margin%3A%200%3B%20padding-left%3A%2024px%3B%20list-style%3A%20decimal%20outside%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-aside%20li%20%7B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.91rem%3B%20line-height%3A%201.5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-bottom%3A%209px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-aside%20li%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-aside%20li%3A%3Amarker%20%7B%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-aside%20.meta%20%7B%20border-top%3A%201px%20solid%20%23ececec%3B%20margin-top%3A%2013px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding-top%3A%2011px%3B%20padding-left%3A%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-aside%20.meta%20div%20%7B%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2010px%3B%20font-size%3A%20.85rem%3B%20margin-bottom%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-aside%20.meta%20div%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-aside%20.meta%20dt%20%7B%20color%3A%20%236f6f6f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-aside%20.meta%20dd%20%7B%20margin%3A%200%3B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20text-align%3A%20right%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.rl-question%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fffdf5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2014px%2018px%3B%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-question%20.lbl%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-question%20p%20%7B%20margin%3A%206px%200%200%3B%20color%3A%20%23111%3B%20font-size%3A%201.06rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20font-style%3A%20italic%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.rl-chips%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%208px%3B%20margin-top%3A%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-chip%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fff3cc%3B%20color%3A%20%2362490a%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%20999px%3B%20padding%3A%204px%2011px%3B%20font-size%3A%20.72rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20letter-spacing%3A%20.04em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-chip-plain%20%7B%20border-color%3A%20%23e0e0e0%3B%20background%3A%20%23f4f4f4%3B%20color%3A%20%234a4a4a%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.rl-conseq%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%205px%20solid%20%236a5314%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fbfbfb%3B%20border-radius%3A%2010px%3B%20padding%3A%2013px%2017px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-conseq%20.lbl%20%7B%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20font-size%3A%20.74rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-conseq%20p%20%7B%20margin%3A%206px%200%200%3B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.97rem%3B%20line-height%3A%201.65%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.rl-bar%20%7B%20display%3A%20flex%3B%20height%3A%2062px%3B%20border-radius%3A%2010px%3B%20overflow%3A%20hidden%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border%3A%201px%20solid%20%23e6e6e6%3B%20margin%3A%2018px%200%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-bar%20.model%20%7B%20flex%3A%205%3B%20background%3A%20%23f1b82d%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-bar%20.rest%20%20%7B%20flex%3A%2095%3B%20background%3A%20%23f4f4f4%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-left%3A%202px%20solid%20%23e0a91c%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-key%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%2010px%2028px%3B%20margin%3A%2012px%200%200%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%20.93rem%3B%20color%3A%20%233a3a3a%3B%20line-height%3A%201.5%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-key%20span%20%7B%20display%3A%20inline-flex%3B%20align-items%3A%20baseline%3B%20gap%3A%208px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-key%20i%20%7B%20flex%3A%200%200%20auto%3B%20width%3A%2013px%3B%20height%3A%2013px%3B%20border-radius%3A%203px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20display%3A%20inline-block%3B%20transform%3A%20translateY(1px)%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-key%20i.gold%20%7B%20background%3A%20%23f1b82d%3B%20border%3A%201px%20solid%20%23e0a91c%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-key%20i.grey%20%7B%20background%3A%20%23f4f4f4%3B%20border%3A%201px%20solid%20%23dcdcdc%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-key%20.n%20%7B%20color%3A%20%23111%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.rl-barhead%20%7B%20margin%3A%200%200%204px%3B%20font-size%3A%201.2rem%3B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20%7D%0A%0A%0A%20%20%20%20%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20LAB_CSS%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20LAB_CSS_B%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20%20%20%20%20.lab-hero%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fffef8%3B%20border-radius%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2018px%2022px%3B%20margin-bottom%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-eyebrow%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.78rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20margin%3A%200%200%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-hero%20h1%20%7B%20margin%3A%200%200%206px%3B%20font-size%3A%201.6rem%3B%20color%3A%20%23111%3B%20line-height%3A%201.25%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-hero%20p.sub%20%7B%20margin%3A%200%3B%20color%3A%20%234a4a4a%3B%20font-size%3A%201rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-case%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%205px%20solid%20%236a5314%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fbfbfb%3B%20border-radius%3A%2010px%3B%20padding%3A%2014px%2018px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-case%20strong.who%20%7B%20color%3A%20%236a5314%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-kpi%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(3%2C%201fr)%3B%20gap%3A%2012px%3B%20margin%3A%206px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-kpi%20div%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-radius%3A%2010px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fff%3B%20padding%3A%2012px%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-kpi%20.k%20%7B%20color%3A%20%234a4a4a%3B%20font-size%3A%20.76rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.05em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-kpi%20.v%20%7B%20color%3A%20%23111%3B%20font-size%3A%201.45rem%3B%20font-weight%3A%20800%3B%20line-height%3A%201.2%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-kpi%20.n%20%7B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.8rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-pass%20%7B%20border-left%3A%205px%20solid%20%232e7d32%20!important%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-fail%20%7B%20border-left%3A%205px%20solid%20%23c62828%20!important%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-split%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%201.6fr%201fr%3B%20gap%3A%2024px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20start%3B%20margin%3A%204px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.lab-split%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-split%20%3E%20.body%20p%20%7B%20margin%3A%200%200%2012px%3B%20color%3A%20%232f2f2f%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%201rem%3B%20line-height%3A%201.7%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-split%20%3E%20.body%20p%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-aside%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%204px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fcfcfc%3B%20padding%3A%2015px%2017px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-aside%20h4%20%7B%20margin%3A%200%200%2010px%3B%20padding-left%3A%2024px%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20letter-spacing%3A%20.06em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-aside%20ol%20%7B%20margin%3A%200%3B%20padding-left%3A%2024px%3B%20list-style%3A%20decimal%20outside%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-aside%20li%20%7B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.91rem%3B%20line-height%3A%201.5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-bottom%3A%209px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-aside%20li%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-aside%20li%3A%3Amarker%20%7B%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-aside%20.meta%20%7B%20border-top%3A%201px%20solid%20%23ececec%3B%20margin-top%3A%2013px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding-top%3A%2011px%3B%20padding-left%3A%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-aside%20.meta%20div%20%7B%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2010px%3B%20font-size%3A%20.85rem%3B%20margin-bottom%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-aside%20.meta%20div%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-aside%20.meta%20dt%20%7B%20color%3A%20%236f6f6f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-aside%20.meta%20dd%20%7B%20margin%3A%200%3B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20text-align%3A%20right%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-question%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fffdf5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2014px%2018px%3B%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-question%20.lbl%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-question%20p%20%7B%20margin%3A%206px%200%200%3B%20color%3A%20%23111%3B%20font-size%3A%201.06rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20font-style%3A%20italic%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-report%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%204px%2020px%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2020px%20rgba(17%2C%2017%2C%2017%2C%20.06)%3B%20margin%3A%206px%200%204px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-report%20.row%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20190px%201fr%3B%20gap%3A%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2012px%200%3B%20border-bottom%3A%201px%20solid%20%23f2f2f2%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20baseline%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-report%20.row%3Alast-child%20%7B%20border-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20720px)%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20.lab-report%20.row%20%7B%20grid-template-columns%3A%201fr%3B%20gap%3A%203px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-report%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-report%20.v%20%7B%20color%3A%20%231c1c1c%3B%20font-size%3A%20.99rem%3B%20line-height%3A%201.55%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-report%20.v%20em%20%7B%20color%3A%20%23444%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-report%20.tick%20%7B%20color%3A%20%232e7d32%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-report%20.cross%20%7B%20color%3A%20%23c62828%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.lab-report%20.quote%20%7B%20border-left%3A%203px%20solid%20%23f1b82d%3B%20padding-left%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23333%3B%20font-style%3A%20italic%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.handin-btn%20%7B%20display%3A%20inline-block%3B%20padding%3A%2012px%2022px%3B%20border-radius%3A%20999px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23f1b82d%3B%20border%3A%201px%20solid%20%23e0a91c%3B%20color%3A%20%23111%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%201rem%3B%20font-weight%3A%20800%3B%20text-decoration%3A%20none%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%206px%2016px%20rgba(241%2C%20184%2C%2045%2C%20.35)%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.handin-btn%3Ahover%20%7B%20background%3A%20%23e8ad19%3B%20color%3A%20%23111%3B%20text-decoration%3A%20none%3B%20%7D%0A%20%20%20%20%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20LAB_CSS_B%0A%20%20%20%20return%20(LAB_CSS_B%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-hero%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22rl-eyebrow%22%3ECSC%2FEE%208001%20%26middot%3B%20Week%201%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ch1%3EWhy%20the%20Model%20Is%20Not%20the%20System%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22sub%22%3EWelcome%20to%20the%20first%20class%20lab.%20Nothing%20to%20install%2C%20nothing%20to%20set%20up.%0A%20%20%20%20%20%20%20%20%20%20The%20first%20half%20shows%20you%20why%20a%20good%20model%20is%20not%20the%20same%20thing%20as%20a%20working%20system.%0A%20%20%20%20%20%20%20%20%20%20The%20second%20half%20hands%20you%20a%20real%20decision%20and%20asks%20you%20to%20defend%20it.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-chips%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22rl-chip%22%3EWhy%20systems%2C%20not%20models%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22rl-chip%22%3EWhere%20the%20time%20goes%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22rl-chip%22%3ENo%20prerequisites%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22rl-chip-plain%20rl-chip%22%3ELab%20v1.0.0%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22rl-chip-plain%20rl-chip%22%3ENothing%20here%20is%20marked%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Ch2%3EBefore%20we%20start%3C%2Fh2%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-split%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22body%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EMost%20of%20you%20have%20trained%20a%20model%20before.%20You%20loaded%20a%20dataset%2C%20fit%20something%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20printed%20an%20accuracy%20score%2C%20and%20it%20worked.%20That%20is%20a%20real%20skill%20and%20you%20will%20use%20it%0A%20%20%20%20%20%20%20%20%20%20%20%20constantly.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThis%20course%20is%20about%20the%20part%20that%20comes%20after.%20It%20turns%20out%20that%20getting%20a%20model%0A%20%20%20%20%20%20%20%20%20%20%20%20to%20be%20accurate%20and%20getting%20a%20model%20to%20be%20%3Cem%3Euseful%20to%20actual%20people%3C%2Fem%3E%20are%20two%0A%20%20%20%20%20%20%20%20%20%20%20%20different%20problems%2C%20and%20the%20second%20one%20is%20where%20almost%20all%20the%20difficulty%20lives.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThese%20labs%20are%20how%20you%20practise%20the%20second%20one.%20There%20is%20no%20maths%20to%20grind%0A%20%20%20%20%20%20%20%20%20%20%20%20through%20here%20and%20nothing%20to%20install.%20Read%2C%20poke%20at%20one%20example%2C%20and%20answer%20two%0A%20%20%20%20%20%20%20%20%20%20%20%20questions%20at%20the%20end.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Caside%20class%3D%22rl-aside%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EBy%20the%20end%20you%20can%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Col%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EExplain%20why%20a%20good%20accuracy%20score%20does%20not%20mean%20a%20system%20is%20ready%20to%20use.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ESay%20where%20the%20time%20actually%20goes%20when%20a%20system%20answers%20a%20request.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EDefend%20a%20design%20decision%20with%20numbers%20instead%20of%20a%20hunch.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fol%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22meta%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3ETime%3C%2Fdt%3E%3Cdd%3Eabout%2010%20min%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EYou%20need%3C%2Fdt%3E%3Cdd%3Enothing%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EMarked%3F%3C%2Fdt%3E%3Cdd%3Eno%2C%20the%20quiz%20is%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Faside%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20question%20this%20lab%20answers%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22What%20will%20these%20labs%20actually%20ask%20me%20to%20do%2C%20and%20why%20are%20they%20built%20that%20way%3F%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cp%20style%3D%22color%3A%233a3a3a%3B%20line-height%3A1.7%3B%22%3E%3Cstrong%3EWhat%20is%20coming%20up.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20Parts%201%20to%203%20are%20the%20why%3A%20the%20number%20that%20explains%20this%20course%2C%20the%20gap%20between%20a%0A%20%20%20%20%20%20%20%20model%20that%20works%20and%20a%20system%20you%20can%20use%2C%20and%20why%20this%20is%20harder%20than%20ordinary%0A%20%20%20%20%20%20%20%20software.%20Parts%204%20to%208%20are%20the%20real%20thing%3A%20a%20decision%20your%20manager%20is%20waiting%20on%2C%20the%0A%20%20%20%20%20%20%20%20evidence%20to%20settle%20it%2C%20and%20a%20summary%20of%20what%20you%20decided.%3C%2Fp%3E%0A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%201%3A%20You%20have%20trained%20a%20model.%20Have%20you%20shipped%20one%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Put%20your%20hand%20up%20if%20you%20have%20ever%20trained%20a%20model.%0A%0A%20%20%20%20Now%20keep%20it%20up%20if%20you%20have%20ever%20put%20one%20in%20front%20of%20real%20people%2C%20and%20kept%20it%20running.%0A%0A%20%20%20%20In%20most%20rooms%2C%20nearly%20every%20hand%20goes%20up%20for%20the%20first%20question%20and%20nearly%20all%20of%20them%20come%0A%20%20%20%20down%20for%20the%20second.%20That%20gap%20is%20the%20entire%20course.%0A%0A%20%20%20%20This%20is%20not%20a%20class%20about%20machine%20learning%20algorithms.%20You%20will%20not%20be%20deriving%0A%20%20%20%20backpropagation%20here.%20The%20question%20we%20keep%20asking%20is%20the%20one%20that%20starts%20*after*%20somebody%0A%20%20%20%20hands%20you%20a%20trained%20model%3A%20**what%20does%20it%20take%20to%20actually%20serve%20this%20to%20people%2C%20and%20what%0A%20%20%20%20is%20physically%20possible%20when%20you%20try%3F**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20The%20systems%20you%20already%20use%20have%20brutal%20deadlines%0A%0A%20%20%20%20You%20interact%20with%20deployed%20ML%20many%20times%20a%20day%20without%20noticing.%20What%20you%20do%20not%20see%20is%20how%0A%20%20%20%20little%20time%20each%20one%20has%20to%20answer.%0A%0A%20%20%20%20%7C%20System%20%7C%20Has%20to%20respond%20in%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20Voice%20assistant%20%7C%20400%20to%20600%20ms%20today%2C%20but%20humans%20expect%20a%20200%20ms%20conversational%20gap%20%7C%0A%20%20%20%20%7C%20Social%20media%20feed%20ranking%20%7C%2060%20to%20200%20ms%2C%20billions%20of%20times%20a%20day%20%7C%0A%20%20%20%20%7C%20Spam%20filtering%20%7C%201%20to%205%20ms%20per%20email%2C%20billions%20a%20day%20%7C%0A%20%20%20%20%7C%20Face%20ID%20on%20your%20phone%20%7C%201%20to%202%20ms%2C%20on%20a%20battery%2C%20without%20getting%20warm%20%7C%0A%0A%20%20%20%20Nobody%20in%20those%20teams%20shipped%20because%20a%20notebook%20said%2094%25.%20They%20shipped%20because%20the%20whole%0A%20%20%20%20system%20met%20a%20hard%20number%2C%20every%20time%2C%20under%20load.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cp%20class%3D%22rl-barhead%22%3EWhere%20the%20work%20actually%20is%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3Cp%20style%3D%22color%3A%233a3a3a%3B%20line-height%3A1.7%3B%20margin%3A0%3B%22%3EIf%20you%20took%20a%20real%20machine%0A%20%20%20%20%20%20%20%20learning%20system%20and%20measured%20where%20the%20engineering%20effort%20went%2C%20it%20would%20look%20like%0A%20%20%20%20%20%20%20%20this.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-bar%22%20role%3D%22img%22%20aria-label%3D%22A%20bar%20split%20five%20per%20cent%20to%20model%20code%20and%0A%20%20%20%20%20%20%20%20%20%20%20%20%20ninety-five%20per%20cent%20to%20everything%20else%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22model%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rest%22%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-key%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%3E%3Ci%20class%3D%22gold%22%3E%3C%2Fi%3E%3Cspan%20class%3D%22n%22%3E5%25%3C%2Fspan%3E%20the%20model%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%3E%3Ci%20class%3D%22grey%22%3E%3C%2Fi%3E%3Cspan%20class%3D%22n%22%3E95%25%3C%2Fspan%3E%20data%2C%20pipelines%2C%20serving%2C%0A%20%20%20%20%20%20%20%20%20%20monitoring%2C%20and%20keeping%20the%20whole%20thing%20alive%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20That%20thin%20gold%20strip%20is%20the%20part%20everyone%20finds%20interesting.%20It%20is%20what%20every%20tutorial%20is%0A%20%20%20%20about%2C%20and%20it%20is%20the%20part%20you%20are%20already%20good%20at.%0A%0A%20%20%20%20The%20rest%20of%20the%20bar%20is%20not%20the%20boring%20admin%20around%20the%20interesting%20bit.%20**It%20is%20the%20reason%0A%20%20%20%20most%20projects%20never%20launch.**%20Depending%20on%20whose%20survey%20you%20read%2C%20somewhere%20between%2060%20and%0A%20%20%20%2085%20per%20cent%20of%20machine%20learning%20projects%20never%20make%20it%20in%20front%20of%20a%20real%20user%20at%20all%2C%20and%0A%20%20%20%20it%20is%20almost%20never%20because%20the%20model%20was%20not%20accurate%20enough.%0A%0A%20%20%20%20The%20reason%20is%20that%20research%20and%20production%20are%20not%20the%20same%20game.%20Research%20gets%20a%20fixed%0A%20%20%20%20dataset%2C%20one%20machine%2C%20and%20one%20number%20to%20push%20up.%20Production%20gets%20data%20that%20keeps%20changing%2C%0A%20%20%20%20a%20pile%20of%20different%20hardware%2C%20and%20has%20to%20be%20accurate%20*and*%20fast%20*and*%20affordable%20at%20the%0A%20%20%20%20same%20time.%20A%20better%20model%20does%20not%20fix%20that.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q0%2C%20q0_render%2C%20q0_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20Why%20do%20most%20ML%20projects%20never%20make%20it%20to%20production%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'Because%20the%20models%20being%20used%20are%20not%20accurate%20enough%20yet'%3A%20'a'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Because%20most%20of%20the%20work%20is%20data%20and%20infrastructure%2C%20and%20that%20is%20where%20projects%20fail'%3A%20'b'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Because%20companies%20do%20not%20have%20enough%20GPUs'%3A%20'c'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'Because%20the%20datasets%20used%20in%20research%20are%20too%20small'%3A%20'd'%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20'b'%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'a'%3A%20(%22This%20is%20the%20assumption%20those%20numbers%20contradict.%20Plenty%20of%20dead%20projects%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22had%20a%20perfectly%20good%20model%20sitting%20in%20a%20notebook.%20It%20never%20got%20out.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'b'%3A%20(%22Ninety%20per%20cent%20of%20the%20effort%20is%20data%20and%20infrastructure%2C%20and%20that%20is%20exactly%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22where%20things%20go%20wrong.%20The%20model%20was%20rarely%20the%20problem.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'c'%3A%20(%22Hardware%20matters%2C%20and%20we%20spend%20real%20time%20on%20it.%20But%20it%20is%20one%20slice%20of%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22ninety-five%20per%20cent%2C%20not%20the%20whole%20story.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'd'%3A%20(%22Data%20quality%20and%20drift%20genuinely%20matter%2C%20and%20there%20is%20a%20lab%20on%20that%20later.%20But%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20answer%20here%20is%20bigger%20than%20dataset%20size.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q0%22%2C%0A%20%20%20%20)%0A%20%20%20%20q0%0A%20%20%20%20return%20q0%2C%20q0_render%2C%20q0_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q0%2C%20q0_render)%3A%0A%20%20%20%20q0_render(q0.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%202%3A%20A%20good%20model%20is%20not%20the%20same%20thing%20as%20a%20working%20system%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20is%20a%20situation%20you%20will%20meet%20again%20and%20again.%0A%0A%20%20%20%20You%20build%20something%20in%20a%20notebook.%20It%20gets%2094%25%20accuracy%20on%20your%20test%20set.%20You%20are%20pleased%2C%0A%20%20%20%20and%20you%20should%20be.%20You%20show%20it%20to%20someone%20and%20they%20ask%20a%20completely%20reasonable%20question%3A%0A%0A%20%20%20%20%3E%20*%22Great.%20Can%20we%20use%20it%3F%22*%0A%0A%20%20%20%20And%20you%20realise%20you%20have%20no%20idea.%20Because%20you%20have%20never%20asked%20what%20happens%20when%20a%20thousand%0A%20%20%20%20people%20use%20it%20at%20once%2C%20or%20how%20much%20it%20costs%20to%20run%20for%20a%20month%2C%20or%20how%20long%20a%20person%20is%0A%20%20%20%20willing%20to%20wait%20for%20an%20answer%2C%20or%20what%20it%20does%20when%20it%20gets%20something%20it%20has%20never%20seen.%0A%0A%20%20%20%20That%20gap%20between%20*the%20model%20works*%20and%20*we%20can%20use%20this*%20is%20what%20this%20course%20is%20about.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-grid2%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-card%20rl-card-bad%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EThe%20question%20you%20already%20know%20how%20to%20answer%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3E%3Cem%3EIs%20the%20model%20accurate%3F%3C%2Fem%3E%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin-top%3A8px%22%3EIt%20is%20one%20number%2C%20measured%20on%20data%20you%20chose%2C%20on%20a%20machine%0A%20%20%20%20%20%20%20%20%20%20%20%20you%20were%20not%20paying%20for%2C%20with%20nobody%20waiting%20on%20the%20other%20end.%20It%20matters.%20It%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20just%20nowhere%20near%20enough.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-card%20rl-card-good%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EThe%20questions%20this%20course%20adds%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cul%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EWhere%20does%20it%20run%2C%20and%20does%20it%20fit%20there%3F%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EHow%20long%20does%20someone%20wait%20for%20an%20answer%3F%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EWhat%20does%20a%20month%20of%20this%20cost%3F%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EWhat%20breaks%20first%20when%20it%20gets%20busy%3F%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EHow%20would%20you%20know%20it%20had%20quietly%20stopped%20working%3F%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ECould%20you%20convince%20a%20sceptical%20person%20you%20are%20right%3F%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Notice%20that%20not%20one%20of%20those%20questions%20is%20answered%20by%20a%20better%20model.%20They%20are%20answered%20by%0A%20%20%20%20understanding%20the%20*system%20the%20model%20sits%20inside*%3A%20the%20machine%2C%20the%20memory%2C%20the%20network%2C%0A%20%20%20%20the%20people%20waiting%2C%20the%20budget.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-conseq%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3ESo%20what%20follows%20from%20that%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3EDeployment%20is%20not%20a%20tidying-up%20job%20you%20do%20at%20the%20end%2C%20once%20the%20interesting%20part%20is%0A%20%20%20%20%20%20%20%20%20%20finished.%20It%20is%20usually%20the%20thing%20that%20decides%20whether%20the%20project%20happens%20at%20all.%20A%0A%20%20%20%20%20%20%20%20%20%20team%20can%20spend%20months%20lifting%20accuracy%20by%20two%20points%20and%20then%20discover%20the%20whole%20idea%0A%20%20%20%20%20%20%20%20%20%20was%20never%20going%20to%20fit%20on%20the%20hardware%20they%20had.%20That%20is%20an%20expensive%20way%20to%20find%20out%2C%0A%20%20%20%20%20%20%20%20%20%20and%20it%20is%20the%20failure%20this%20course%20is%20trying%20to%20teach%20you%20to%20see%20coming.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%203%3A%20When%20it%20breaks%2C%20nothing%20happens%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20There%20is%20a%20fair%20objection%20to%20everything%20so%20far.%20Computer%20science%20has%20been%20building%20large%2C%0A%20%20%20%20complicated%20software%20systems%20for%20fifty%20years%20and%20got%20quite%20good%20at%20it.%20Why%20should%20machine%0A%20%20%20%20learning%20be%20any%20different%3F%0A%0A%20%20%20%20Because%20of%20one%20thing%3A%20**when%20an%20ML%20system%20breaks%2C%20nothing%20happens.**%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-grid2%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-card%20rl-card-good%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EOrdinary%20software%20fails%20loudly%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThere%20is%20a%20bug%2C%20so%20it%20crashes.%20You%20get%20a%20stack%20trace%20within%20milliseconds.%20You%0A%20%20%20%20%20%20%20%20%20%20%20%20read%20the%20lines%2C%20you%20find%20the%20mistake%2C%20you%20fix%20it%2C%20and%20it%20stays%20fixed.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-card%20rl-card-bad%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EML%20fails%20silently%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThere%20is%20no%20crash.%20It%20keeps%20running.%20It%20keeps%20returning%20predictions.%20Everything%0A%20%20%20%20%20%20%20%20%20%20%20%20looks%20healthy%20on%20every%20dashboard%20you%20have.%20It%20is%20simply%2C%20quietly%2C%20becoming%20wrong.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20is%20the%20shape%20it%20usually%20takes.%20A%20spam%20filter%20is%20trained%20on%20last%20year's%20spam%20and%0A%20%20%20%20catches%2094%25%20of%20it.%20Nothing%20about%20it%20changes.%20Nobody%20touches%20the%20code.%0A%0A%20%20%20%20But%20the%20people%20sending%20spam%20do%20change.%20They%20try%20new%20wording%2C%20new%20subject%20lines%2C%20new%20tricks%2C%0A%20%20%20%20precisely%20because%20the%20old%20ones%20stopped%20working.%20Month%20by%20month%2C%20the%20filter%20catches%20a%20little%0A%20%20%20%20less.%20By%20the%20spring%20it%20is%20somewhere%20around%2080%25%2C%20and%20a%20fifth%20of%20the%20spam%20is%20going%20straight%0A%20%20%20%20to%20inboxes.%0A%0A%20%20%20%20**Nothing%20failed.**%20No%20error%20was%20thrown%2C%20no%20alert%20fired%2C%20every%20line%20ran%20exactly%20as%20written%2C%0A%20%20%20%20and%20every%20dashboard%20was%20green.%20If%20you%20opened%20the%20code%20looking%20for%20the%20bug%2C%20you%20would%20not%0A%20%20%20%20find%20one%2C%20because%20there%20isn't%20one.%0A%0A%20%20%20%20**So%20what%20do%20you%20actually%20debug%3F**%20Not%20the%20code.%20The%20world%20it%20was%20trained%20on%20moved%2C%20and%20the%0A%20%20%20%20model%20stayed%20still.%20The%20only%20way%20anyone%20finds%20out%20before%20the%20complaints%20start%20is%20if%20somebody%0A%20%20%20%20built%20something%20whose%20whole%20job%20is%20to%20notice.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Why%20you%20cannot%20just%20read%20the%20code%20and%20find%20the%20problem%0A%0A%20%20%20%20Andrej%20Karpathy%20gave%20this%20shift%20a%20name%20in%202017.%0A%0A%20%20%20%20**Software%201.0**%20is%20instructions%20a%20person%20wrote.%20If%20it%20misbehaves%2C%20you%20open%20the%20file%20and%0A%20%20%20%20read%20it.%0A%0A%20%20%20%20**Software%202.0**%20is%20a%20neural%20network%2C%20where%20the%20behaviour%20lives%20in%20numbers%20learned%20from%0A%20%20%20%20data.%20The%20code%20that%20*trains*%20a%20GPT-4%20class%20model%20is%20a%20few%20thousand%20lines.%20The%20actual%0A%20%20%20%20program%20is%20about%20**1.8%20trillion%20numbers**.%20You%20cannot%20read%20it.%20You%20cannot%20patch%20line%204%2C000.%0A%20%20%20%20You%20can%20only%20retrain%20it%20and%20hope.%0A%0A%20%20%20%20His%20analogy%20is%20the%20one%20that%20sticks%3A%20debugging%20ordinary%20software%20is%20editing%20text.%20Debugging%0A%20%20%20%20a%20model%20is%20trying%20to%20find%20the%20one%20bad%20ingredient%20in%20a%20batch%20of%201.8%20trillion%20cookies%2C%0A%20%20%20%20without%20being%20allowed%20to%20open%20a%20single%20cookie.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22rl-conseq%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EAnd%20you%20cannot%20test%20your%20way%20out%20of%20it%20either%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3EThink%20about%20testing%20a%20function%20that%20adds%20two%20numbers.%20You%20can%20write%20down%20the%20cases%0A%20%20%20%20%20%20%20%20%20%20that%20matter%3A%20two%20positives%2C%20a%20negative%2C%20zero%2C%20the%20biggest%20number%20it%20can%20hold.%20It%20is%20a%0A%20%20%20%20%20%20%20%20%20%20short%20list%20and%20you%20can%20tick%20every%20item%20off.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3ENow%20write%20the%20list%20for%20a%20photo%20classifier.%20Every%20photo%20anyone%20might%20ever%20point%20at%0A%20%20%20%20%20%20%20%20%20%20it.%20Photos%20of%20things%20that%20did%20not%20exist%20when%20you%20trained%20it.%20Photos%20taken%20at%20night%2C%20in%0A%20%20%20%20%20%20%20%20%20%20the%20rain%2C%20through%20a%20cracked%20screen%2C%20by%20a%20camera%20that%20has%20not%20been%20invented%20yet.%0A%20%20%20%20%20%20%20%20%20%20%3Cstrong%3EThere%20is%20no%20list.%3C%2Fstrong%3E%20You%20cannot%20finish%20it%2C%20so%20you%20cannot%20tick%20it%20off.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin-bottom%3A0%22%3EThis%20is%20why%20we%20give%20up%20on%20proving%20the%20thing%20correct%20and%20pay%0A%20%20%20%20%20%20%20%20%20%20for%20%3Cstrong%3Ewatching%20it%20instead%3C%2Fstrong%3E.%20Monitoring%20is%20not%20a%20nice-to-have%20you%20add%0A%20%20%20%20%20%20%20%20%20%20when%20there%20is%20time.%20It%20is%20the%20replacement%20for%20the%20tests%20you%20are%20never%20able%20to%0A%20%20%20%20%20%20%20%20%20%20write.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q3%2C%20q3_render%2C%20q3_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20What%20usually%20happens%20when%20a%20deployed%20ML%20system%20goes%20wrong%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'It%20throws%20an%20error%20you%20can%20find%20in%20the%20logs'%3A%20'a'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'It%20keeps%20running%20and%20returning%20answers%2C%20while%20quietly%20getting%20things%20wrong'%3A%20'b'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'It%20slows%20down%20until%20somebody%20notices'%3A%20'c'%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'It%20refuses%20to%20make%20predictions%20it%20is%20unsure%20about'%3A%20'd'%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20'b'%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20'a'%3A%20(%22That%20is%20what%20ordinary%20software%20does%2C%20and%20it%20is%20a%20real%20comfort.%20ML%20takes%20it%20away%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22from%20you%3A%20the%20code%20runs%20perfectly%20while%20the%20answers%20rot.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'b'%3A%20(%22There%20is%20no%20moment%20of%20failure%20to%20catch%2C%20which%20is%20why%20somebody%20has%20to%20be%20actively%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22watching%20for%20the%20drift.%20Nothing%20tells%20you%20unless%20you%20built%20the%20thing%20that%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tells%20you.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'c'%3A%20(%22Speed%20problems%20do%20happen%2C%20and%20there%20is%20a%20whole%20lab%20on%20them.%20But%20the%20frightening%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22failure%20is%20the%20one%20where%20speed%20is%20fine%20and%20the%20answers%20are%20wrong.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20'd'%3A%20(%22Some%20systems%20are%20built%20to%20do%20this%20and%20it%20is%20a%20good%20design.%20It%20does%20not%20happen%20for%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22free%20though.%20Somebody%20has%20to%20choose%20the%20threshold%20and%20build%20the%20fallback.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q3%22%2C%0A%20%20%20%20)%0A%20%20%20%20q3%0A%20%20%20%20return%20q3%2C%20q3_render%2C%20q3_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q3%2C%20q3_render)%3A%0A%20%20%20%20q3_render(q3.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%204%3A%20A%20real%20decision%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22lab-case%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%3Cstrong%20class%3D%22who%22%3EYour%20manager%3A%3C%2Fstrong%3E%20%26ldquo%3BThe%20classifier%20gets%0A%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E94%25%20accuracy%3C%2Fstrong%3E.%20Put%20it%20behind%20the%20search%20box.%20About%0A%20%20%20%20%20%20%20%20%20%20%3Cstrong%3E200%20people%20a%20second%3C%2Fstrong%3E%20use%20that%20box%2C%20and%20we%20have%20promised%20customers%20that%0A%20%20%20%20%20%20%20%20%20%20%3Cstrong%3Ealmost%20nobody%20waits%20longer%20than%20150%20milliseconds%3C%2Fstrong%3E.%26rdquo%3B%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20style%3D%22margin-bottom%3A0%22%3EYou%20have%20%3Cstrong%3Eone%20GPU%3C%2Fstrong%3E%20to%20run%20it%20on.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Notice%20what%20you%20have%20just%20been%20asked.%20Not%20*is%20the%20model%20good%3F*%2C%20because%20that%20is%20settled.%0A%20%20%20%20You%20have%20been%20asked%20whether%20**one%20machine%20can%20answer%20two%20hundred%20people%20a%20second%20without%0A%20%20%20%20keeping%20any%20of%20them%20waiting**.%20Accuracy%20has%20nothing%20to%20say%20about%20that.%0A%0A%20%20%20%20Before%20you%20can%20answer%20it%2C%20there%20are%20two%20things%20you%20need%20to%20know.%20Neither%20is%20complicated%2C%0A%20%20%20%20and%20you%20will%20use%20both%20all%20semester.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20First%20thing%3A%20what%20%22almost%20nobody%20waits%20longer%20than%20150%20ms%22%20actually%20means%0A%0A%20%20%20%20Your%20manager%20did%20not%20say%20*the%20average%20wait%20is%20150%20ms*%2C%20and%20that%20difference%20matters%20more%0A%20%20%20%20than%20it%20sounds.%0A%0A%20%20%20%20Imagine%20a%20hundred%20people%20use%20the%20search%20box.%20Ninety-five%20of%20them%20get%20an%20answer%20quickly%20and%0A%20%20%20%20five%20of%20them%20wait%20a%20very%20long%20time.%20The%20**average**%20can%20still%20look%20perfectly%20healthy%20while%0A%20%20%20%20those%20five%20people%20are%20having%20an%20awful%20experience%20and%20telling%20their%20friends%20about%20it.%0A%0A%20%20%20%20So%20promises%20like%20this%20are%20almost%20never%20written%20about%20the%20average.%20They%20are%20written%20about%0A%20%20%20%20the%20slowest%20few.%20%2295%25%20of%20people%20get%20an%20answer%20within%20150%20ms%22%20means%3A%20line%20everybody%20up%20from%0A%20%20%20%20fastest%20to%20slowest%2C%20walk%2095%25%20of%20the%20way%20along%20that%20line%2C%20and%20*that*%20person%20must%20still%20have%0A%20%20%20%20waited%20less%20than%20150%20ms.%0A%0A%20%20%20%20You%20will%20see%20this%20written%20as%20**p95**%2C%20short%20for%20the%2095th%20percentile.%20When%20you%20see%20p95%20in%20this%0A%20%20%20%20lab%2C%20read%20it%20as%20**%22the%20slowest%205%25%20of%20people%22**.%20That%20is%20the%20number%20we%20have%20to%20keep%20under%0A%20%20%20%20150%20ms%2C%20and%20it%20is%20a%20much%20harder%20promise%20to%20keep%20than%20an%20average.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Second%20thing%3A%20what%20batching%20is%2C%20and%20why%20anyone%20bothers%0A%0A%20%20%20%20A%20GPU%20does%20not%20like%20being%20handed%20one%20photo%20at%20a%20time.%20Every%20time%20you%20ask%20it%20to%20run%20the%0A%20%20%20%20model%2C%20there%20is%20a%20fixed%20setup%20cost%20before%20any%20real%20work%20starts%3A%20moving%20data%20across%2C%0A%20%20%20%20launching%20the%20work%2C%20waking%20things%20up.%20For%20our%20model%20that%20fixed%20cost%20is%20about%20**18%20ms**%2C%20and%0A%20%20%20%20you%20pay%20it%20whether%20you%20hand%20over%20one%20item%20or%20a%20hundred.%0A%0A%20%20%20%20Once%20it%20is%20running%2C%20each%20additional%20item%20is%20cheap%3A%20about%20**0.9%20ms**%20each.%0A%0A%20%20%20%20So%20you%20have%20a%20choice.%20You%20can%20send%20items%20one%20at%20a%20time%2C%20or%20you%20can%20collect%20a%20few%20and%20send%0A%20%20%20%20them%20together.%20Sending%20them%20together%20is%20called%20**batching**%2C%20and%20the%20number%20you%20collect%0A%20%20%20%20before%20sending%20is%20the%20**batch%20size**.%0A%0A%20%20%20%20Here%20is%20why%20it%20is%20tempting%3A%0A%0A%20%20%20%20%7C%20You%20send%20%7C%20Total%20time%20%7C%20Time%20per%20item%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%201%20item%20%7C%2018%20%2B%200.9%20%3D%20**18.9%20ms**%20%7C%20**18.9%20ms**%20each%20%7C%0A%20%20%20%20%7C%2010%20items%20%7C%2018%20%2B%209%20%3D%20**27%20ms**%20%7C%20**2.7%20ms**%20each%20%7C%0A%20%20%20%20%7C%20100%20items%20%7C%2018%20%2B%2090%20%3D%20**108%20ms**%20%7C%20**1.08%20ms**%20each%20%7C%0A%0A%20%20%20%20Ten%20items%20take%20barely%20longer%20than%20one%2C%20because%20they%20share%20that%2018%20ms.%20Per%20item%2C%20batching%0A%20%20%20%20looks%20like%20an%20enormous%20win.%0A%0A%20%20%20%20**But%20there%20is%20a%20catch%2C%20and%20it%20is%20the%20whole%20lab.**%20To%20send%20ten%20items%20together%2C%20you%20have%20to%0A%20%20%20%20*wait%20for%20ten%20items%20to%20show%20up*.%20The%20first%20person%20to%20arrive%20sits%20there%20while%20the%20other%20nine%0A%20%20%20%20trickle%20in.%20At%20200%20people%20a%20second%2C%20waiting%20for%2010%20means%20the%20first%20one%20waits%20about%2045%20ms%0A%20%20%20%20before%20the%20GPU%20has%20even%20started.%0A%0A%20%20%20%20So%20a%20bigger%20batch%20makes%20the%20machine%20more%20efficient%20and%20makes%20people%20wait%20longer.%20Those%20pull%0A%20%20%20%20in%20opposite%20directions%2C%20and%20somewhere%20in%20between%20is%20the%20answer.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20This%20pattern%20has%20a%20name%0A%0A%20%20%20%20Almost%20every%20%22how%20long%20will%20this%20take%3F%22%20question%20in%20ML%20systems%20breaks%20into%20the%20same%20three%0A%20%20%20%20pieces%2C%20and%20it%20is%20worth%20learning%20them%20once%20because%20they%20keep%20coming%20back%3A%0A%0A%20%20%20%20%7C%20The%20three%20pieces%20%7C%20What%20it%20means%20%7C%20In%20this%20lab%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20**Moving%20data**%20%7C%20how%20long%20it%20takes%20to%20get%20the%20data%20where%20it%20needs%20to%20be%20%7C%20waiting%20for%20a%20batch%20to%20fill%20%7C%0A%20%20%20%20%7C%20**Doing%20the%20work**%20%7C%20the%20actual%20arithmetic%20%7C%200.9%20ms%20for%20every%20item%20%7C%0A%20%20%20%20%7C%20**Setting%20up**%20%7C%20everything%20before%20the%20real%20work%20starts%20%7C%20the%20fixed%2018%20ms%20%7C%0A%0A%20%20%20%20Add%20the%20three%20together%20and%20**the%20biggest%20one%20wins**.%20That%20is%20the%20whole%20method%2C%20and%20it%20is%0A%20%20%20%20almost%20embarrassingly%20simple.%20It%20earns%20its%20keep%20because%20people%20are%20extremely%20bad%20at%0A%20%20%20%20guessing%20which%20of%20the%20three%20is%20the%20big%20one.%20You%20are%20about%20to%20guess%2C%20and%20you%20will%20probably%0A%20%20%20%20guess%20wrong%2C%20and%20that%20is%20the%20useful%20part.%0A%0A%20%20%20%20Here%20is%20a%20hint%20about%20where%20to%20look.%20**We%20never%20change%20the%20model%20in%20this%20lab.**%20Not%20once.%0A%20%20%20%20The%20thing%20doing%20the%20predicting%20stays%20exactly%20as%20it%20is%20from%20start%20to%20finish.%20So%20if%20this%0A%20%20%20%20system%20is%20in%20trouble%2C%20the%20trouble%20is%20somewhere%20else%20entirely%2C%20and%20part%20of%20your%20job%20is%0A%20%20%20%20working%20out%20where.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Now%20make%20your%20guess%0A%0A%20%20%20%20That%20is%20everything%20you%20need.%20You%20know%20the%20fixed%20cost%2C%20the%20per-item%20cost%2C%20how%20many%20people%0A%20%20%20%20arrive%2C%20and%20what%20you%20promised%20them.%0A%0A%20%20%20%20Nothing%20here%20is%20marked%2C%20and%20the%20answer%20is%20on%20the%20next%20screen%20either%20way.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_saved%20%3D%20saved.get(%22guess%22)%20or%20%7B%7D%0A%20%20%20%20_choices%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22As%20small%20as%20possible%20(1-4)%2C%20keep%20waiting%20time%20near%20zero%22%3A%20%22tiny%22%2C%0A%20%20%20%20%20%20%20%20%22Moderate%20(8-16)%2C%20balance%20waiting%20against%20efficiency%22%3A%20%22moderate%22%2C%0A%20%20%20%20%20%20%20%20%22As%20large%20as%20possible%20(64%2B)%2C%20get%20the%20most%20out%20of%20the%20GPU%22%3A%20%22huge%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20guess_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%7Bchoice%7D%0A%0A%20%20%20%20%20%20%20%20%7Bwhy%7D%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%3Dmo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D_choices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_choices%2C%20_saved.get(%22choice%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Your%20guess.**%20Which%20batch%20size%20keeps%20the%20slowest%205%25%20of%20people%20under%20150%20ms%2C%20when%20200%20people%20arrive%20every%20second%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20why%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22why%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22One%20sentence%20is%20fine.%20What%20made%20you%20pick%20that%20one%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Why%20did%20you%20pick%20that%3F**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Submit%20my%20guess%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Pick%20one%20of%20the%20three%20options.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20v%20or%20v.get(%22choice%22)%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20a%20sentence%20saying%20why%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20(v.get(%22why%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20guess_form%0A%20%20%20%20return%20(guess_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(guess_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20%23%20The%20gate%20stays%2C%20because%20guessing%20before%20you%20look%20is%20the%20point.%20The%20guess%20is%0A%20%20%20%20%23%20not%20locked%20though%3A%20nothing%20here%20is%20marked%2C%20so%20changing%20your%20mind%20is%20fine.%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20(guess_form.value%20or%20saved.get(%22guess%22))%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Pick%20an%20answer%2C%20say%20why%20in%20a%20few%20words%2C%20then%20press%20**Submit%20my%20guess**.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20rest%20of%20the%20lab%20opens%20up%20once%20you%20do.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20predict_choice%20%3D%20(guess_form.value%20or%20saved.get(%22guess%22))%5B%22choice%22%5D%0A%20%20%20%20predict_reason%20%3D%20(guess_form.value%20or%20saved.get(%22guess%22))%5B%22why%22%5D.strip()%0A%20%20%20%20prediction_locked%20%3D%20True%0A%20%20%20%20return%20predict_choice%2C%20predict_reason%2C%20prediction_locked%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20prediction_locked)%3A%0A%20%20%20%20_%20%3D%20prediction_locked%0A%20%20%20%20mo.md(r%22%22%22%23%23%20Part%205%3A%20Try%20it%20yourself%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20prediction_locked%2C%20saved)%3A%0A%20%20%20%20_%20%3D%20prediction_locked%0A%20%20%20%20batch%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%201%2C%20128%2C%20value%3Dsaved.get(%22batch%22%2C%201)%2C%20step%3D1%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Batch%20size%20-%20how%20many%20we%20collect%20before%20sending%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20load%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%2050%2C%20400%2C%20value%3Dsaved.get(%22load%22%2C%20200)%2C%20step%3D10%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20many%20people%20arrive%20per%20second%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bbatch%2C%20load%5D)%0A%20%20%20%20return%20batch%2C%20load%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(batch%2C%20load%2C%20np)%3A%0A%20%20%20%20SETUP_MS%20%3D%2018.0%0A%20%20%20%20PER_ITEM_MS%20%3D%200.9%0A%20%20%20%20SLA_MS%20%3D%20150.0%0A%0A%20%20%20%20_b%20%3D%20int(batch.value)%0A%20%20%20%20_rate%20%3D%20float(load.value)%0A%0A%20%20%20%20%23%20Wall%20time%20for%20one%20inference%20call%20of%20size%20_b.%0A%20%20%20%20compute_ms%20%3D%20SETUP_MS%20%2B%20PER_ITEM_MS%20*%20_b%0A%20%20%20%20%23%20Sustainable%20throughput%20of%20a%20single%20GPU%20at%20this%20batch%20size.%0A%20%20%20%20throughput%20%3D%20_b%20%2F%20(compute_ms%20%2F%201000.0)%0A%20%20%20%20%23%20How%20long%20the%20last%20item%20waits%20for%20the%20batch%20to%20fill.%0A%20%20%20%20fill_ms%20%3D%20(_b%20-%201)%20%2F%20_rate%20*%201000.0%20if%20_b%20%3E%201%20else%200.0%0A%20%20%20%20%23%20Queue%20penalty%20as%20demand%20approaches%20what%20one%20GPU%20can%20sustain.%0A%20%20%20%20utilisation%20%3D%20_rate%20%2F%20throughput%0A%20%20%20%20if%20utilisation%20%3C%201.0%3A%0A%20%20%20%20%20%20%20%20queue_ms%20%3D%20compute_ms%20*%20utilisation%20%2F%20(1.0%20-%20utilisation)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20queue_ms%20%3D%20float(%22inf%22)%0A%0A%20%20%20%20p95_ms%20%3D%20fill_ms%20%2B%20queue_ms%20%2B%20compute_ms%0A%20%20%20%20meets_sla%20%3D%20bool(np.isfinite(p95_ms)%20and%20p95_ms%20%3C%3D%20SLA_MS)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20SLA_MS%2C%0A%20%20%20%20%20%20%20%20compute_ms%2C%0A%20%20%20%20%20%20%20%20fill_ms%2C%0A%20%20%20%20%20%20%20%20meets_sla%2C%0A%20%20%20%20%20%20%20%20p95_ms%2C%0A%20%20%20%20%20%20%20%20queue_ms%2C%0A%20%20%20%20%20%20%20%20throughput%2C%0A%20%20%20%20%20%20%20%20utilisation%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS_B%2C%20SLA_MS%2C%20meets_sla%2C%20mo%2C%20p95_ms%2C%20throughput%2C%20utilisation)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS_B%0A%20%20%20%20_p95%20%3D%20%22overloaded%22%20if%20p95_ms%20%3D%3D%20float(%22inf%22)%20else%20f%22%7Bp95_ms%3A.0f%7D%20ms%22%0A%20%20%20%20_cls%20%3D%20%22lab-pass%22%20if%20meets_sla%20else%20%22lab-fail%22%0A%20%20%20%20_verdict%20%3D%20%22we%20keep%20our%20promise%22%20if%20meets_sla%20else%20%22we%20break%20our%20promise%22%0A%20%20%20%20_head%20%3D%20%22completely%20overwhelmed%22%20if%20utilisation%20%3E%3D%201%20else%20%22it%20has%20room%20to%20spare%22%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22lab-kpi%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22%7B_cls%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22k%22%3ESlowest%205%25%20wait%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22v%22%3E%7B_p95%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22n%22%3Ewe%20promised%20under%20%7BSLA_MS%3A.0f%7D%20ms%2C%20so%20%7B_verdict%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22k%22%3EMost%20it%20can%20handle%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22v%22%3E%7Bthroughput%3A%2C.0f%7D%2Fs%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22n%22%3Eone%20GPU%2C%20at%20this%20batch%20size%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22k%22%3EHow%20busy%20the%20GPU%20is%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22v%22%3E%7Bmin(utilisation%2C%209.99)%3A.0%25%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22n%22%3E%7B_head%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20prediction_locked)%3A%0A%20%20%20%20_%20%3D%20prediction_locked%0A%20%20%20%20mo.md(r%22%22%22%23%23%20Part%206%3A%20What%20is%20really%20going%20on%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(compute_ms%2C%20fill_ms%2C%20mo%2C%20queue_ms)%3A%0A%20%20%20%20_q%20%3D%20%22unbounded%22%20if%20queue_ms%20%3D%3D%20float(%22inf%22)%20else%20f%22%7Bqueue_ms%3A.1f%7D%20ms%22%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20When%20someone%20waits%20for%20an%20answer%2C%20that%20wait%20is%20made%20of%20**three%20separate%20things**.%20Most%0A%20%20%20%20people%20only%20think%20about%20the%20last%20one.%20This%20is%20the%20Iron%20Law%20with%20real%20numbers%20in%20it.%0A%0A%20%20%20%20%7C%20What%20they%20are%20waiting%20for%20%7C%20Right%20now%20%7C%20Gets%20worse%20when%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20**Waiting%20for%20the%20batch%20to%20fill**%20%7C%20%7Bfill_ms%3A.1f%7D%20ms%20%7C%20you%20use%20bigger%20batches%20%7C%0A%20%20%20%20%7C%20**Stuck%20in%20the%20queue%20behind%20others**%20%7C%20%7B_q%7D%20%7C%20the%20GPU%20cannot%20keep%20up%20%7C%0A%20%20%20%20%7C%20**The%20model%20actually%20running**%20%7C%20%7Bcompute_ms%3A.1f%7D%20ms%20%7C%20you%20use%20bigger%20batches%20%7C%0A%0A%20%20%20%20Here%20is%20the%20awkward%20part.%20Making%20the%20batch%20**bigger**%20shrinks%20the%20middle%20row%2C%20because%20the%0A%20%20%20%20GPU%20gets%20through%20work%20faster%20and%20the%20queue%20drains.%20But%20it%20**grows**%20the%20top%20and%20bottom%20rows%2C%0A%20%20%20%20because%20more%20people%20have%20to%20show%20up%20before%20anything%20starts.%0A%0A%20%20%20%20You%20cannot%20make%20all%20three%20small%20at%20once.%20That%20tension%20is%20the%20entire%20lab.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(SLA_MS%2C%20mo%2C%20np)%3A%0A%20%20%20%20_sizes%20%3D%20np.arange(1%2C%20129)%0A%20%20%20%20_compute%20%3D%2018.0%20%2B%200.9%20*%20_sizes%0A%20%20%20%20_tput%20%3D%20_sizes%20%2F%20(_compute%20%2F%201000.0)%0A%20%20%20%20_fill%20%3D%20(_sizes%20-%201)%20%2F%20200.0%20*%201000.0%0A%20%20%20%20_util%20%3D%20200.0%20%2F%20_tput%0A%20%20%20%20_queue%20%3D%20np.where(%0A%20%20%20%20%20%20%20%20_util%20%3C%201.0%2C%20_compute%20*%20_util%20%2F%20np.maximum(1.0%20-%20_util%2C%201e-9)%2C%20np.inf%0A%20%20%20%20)%0A%20%20%20%20_curve%20%3D%20_fill%20%2B%20_queue%20%2B%20_compute%0A%0A%20%20%20%20_ok%20%3D%20np.isfinite(_curve)%20%26%20(_curve%20%3C%3D%20SLA_MS)%0A%20%20%20%20_best%20%3D%20int(_sizes%5Bnp.argmin(np.where(_ok%2C%20_curve%2C%20np.inf))%5D)%20if%20_ok.any()%20else%20None%0A%0A%20%20%20%20_plot%20%3D%20np.where(np.isfinite(_curve)%2C%20np.minimum(_curve%2C%20400.0)%2C%20400.0)%0A%20%20%20%20_pts%20%3D%20%22%20%22.join(%0A%20%20%20%20%20%20%20%20f%22%7B40%20%2B%20(s%20-%201)%20%2F%20127%20*%20600%3A.1f%7D%2C%7B300%20-%20v%20%2F%20400%20*%20260%3A.1f%7D%22%0A%20%20%20%20%20%20%20%20for%20s%2C%20v%20in%20zip(_sizes%2C%20_plot)%0A%20%20%20%20)%0A%20%20%20%20_sla_y%20%3D%20300%20-%20SLA_MS%20%2F%20400%20*%20260%0A%0A%20%20%20%20_svg%20%3D%20f%22%22%22%0A%20%20%20%20%3Csvg%20viewBox%3D%220%200%20660%20330%22%20width%3D%22100%25%22%20role%3D%22img%22%0A%20%20%20%20%20%20%20%20%20aria-label%3D%22How%20long%20the%20slowest%205%20percent%20wait%2C%20for%20each%20batch%20size%2C%20at%20200%20people%20per%20second%22%3E%0A%20%20%20%20%20%20%3Cline%20x1%3D%2240%22%20y1%3D%22300%22%20x2%3D%22640%22%20y2%3D%22300%22%20stroke%3D%22%23111%22%20stroke-width%3D%221.5%22%2F%3E%0A%20%20%20%20%20%20%3Cline%20x1%3D%2240%22%20y1%3D%2240%22%20x2%3D%2240%22%20y2%3D%22300%22%20stroke%3D%22%23111%22%20stroke-width%3D%221.5%22%2F%3E%0A%20%20%20%20%20%20%3Cline%20x1%3D%2240%22%20y1%3D%22%7B_sla_y%3A.1f%7D%22%20x2%3D%22640%22%20y2%3D%22%7B_sla_y%3A.1f%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20stroke%3D%22%23c62828%22%20stroke-width%3D%221.5%22%20stroke-dasharray%3D%226%204%22%2F%3E%0A%20%20%20%20%20%20%3Ctext%20x%3D%22636%22%20y%3D%22%7B_sla_y%20-%206%3A.1f%7D%22%20font-size%3D%2211%22%20fill%3D%22%23c62828%22%0A%20%20%20%20%20%20%20%20%20%20%20%20text-anchor%3D%22end%22%3Ewhat%20we%20promised%20(150%20ms)%3C%2Ftext%3E%0A%20%20%20%20%20%20%3Cpolyline%20points%3D%22%7B_pts%7D%22%20fill%3D%22none%22%20stroke%3D%22%23f1b82d%22%20stroke-width%3D%222.5%22%2F%3E%0A%20%20%20%20%20%20%3Ctext%20x%3D%22340%22%20y%3D%22324%22%20font-size%3D%2212%22%20fill%3D%22%234a4a4a%22%20text-anchor%3D%22middle%22%3Ebatch%20size%3C%2Ftext%3E%0A%20%20%20%20%20%20%3Ctext%20x%3D%2214%22%20y%3D%22170%22%20font-size%3D%2212%22%20fill%3D%22%234a4a4a%22%20text-anchor%3D%22middle%22%0A%20%20%20%20%20%20%20%20%20%20%20%20transform%3D%22rotate(-90%2014%20170)%22%3Eslowest%205%25%20wait%20(ms)%3C%2Ftext%3E%0A%20%20%20%20%3C%2Fsvg%3E%0A%20%20%20%20%22%22%22%0A%0A%20%20%20%20if%20_best%20is%20None%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%22**No%20batch%20size%20works%20at%20200%20people%20per%20second.**%20One%20GPU%20is%20not%20enough%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20that%20is%20a%20real%20and%20reportable%20answer.%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_feasible%20%3D%20_sizes%5B_ok%5D%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Batch%20sizes%20that%20keep%20the%20promise%20at%20200%20people%20per%20second%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B_feasible.min()%7D%20to%20%7B_feasible.max()%7D**.%20The%20best%20is%20**%7B_best%7D**.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bmo.Html(_svg)%2C%20mo.md(_msg)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20predict_choice%2C%20prediction_locked)%3A%0A%20%20%20%20_%20%3D%20prediction_locked%0A%20%20%20%20_why%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22tiny%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Wrong%2C%20and%20this%20is%20the%20one%20worth%20getting%20wrong.**%20A%20batch%20of%201%20takes%2018.9%20ms%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22so%20the%20GPU%20can%20serve%20about%20**53%20people%20a%20second**.%20But%20200%20arrive%20every%20second.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22About%20150%20people%20per%20second%20join%20a%20queue%20nobody%20will%20ever%20clear.%20This%20does%20not%20just%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22miss%20the%20target%2C%20it%20*breaks%20the%20service%20completely*.%20%5C%22Small%20batch%20means%20fast%5C%22%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22true%20on%20a%20quiet%20system%20and%20fatal%20on%20a%20busy%20one%2C%20which%20is%20exactly%20why%20we%20asked%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22you%20to%20guess%20first.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22moderate%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Correct.**%20Anything%20from%20**6%20to%2019**%20keeps%20the%20promise%2C%20and%20**9%20is%20the%20sweet%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22spot%2C%20where%20the%20slowest%205%25%20wait%20102%20ms**.%20Nothing%20outside%20that%20range%20works.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22huge%22%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Wrong%2C%20but%20for%20a%20much%20more%20reasonable%20reason.**%20Big%20batches%20really%20are%20efficient%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20cost%20per%20person%20drops%20from%2018.9%20ms%20to%201.18%20ms.%20The%20problem%20is%20that%20the%20first%20person%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22in%20a%20batch%20of%2064%20waits%20**315%20ms**%20for%20the%20other%2063%20to%20turn%20up%2C%20before%20the%20GPU%20even%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22starts.%20That%20is%20already%20double%20the%20entire%20budget.%20Efficiency%20you%20cannot%20spend%20is%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22worth%20anything.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%20%20%20%20_ok%20%3D%20predict_choice%20%3D%3D%20%22moderate%22%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20So%2C%20was%20your%20guess%20right%3F%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_why%5Bpredict_choice%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2B%20(%22%22%20if%20_ok%20else%20%22%5Cn%5CnThe%20answer%20is%20**moderate%20(8-16)**.%20Anything%20from%206%20to%2019%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22works%2C%20and%20batch%209%20is%20best%20and%20the%20slowest%205%25%20wait%20102%20ms.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Getting%20this%20wrong%20is%20genuinely%20the%20useful%20outcome.%20Open%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22full%20answer%20below%20and%20find%20the%20moment%20your%20reasoning%20parted%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22company%20with%20what%20actually%20happens.%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22success%22%20if%20_ok%20else%20%22danger%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Show%20me%20the%20full%20answer%20and%20why%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%7C%20Batch%20%7C%20Model%20runs%20for%20%7C%20Most%20it%20can%20handle%20%7C%20Waiting%20for%20batch%20%7C%20Stuck%20in%20queue%20%7C%20**Slowest%205%25%20wait**%20%7C%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%201%20%7C%2018.9%20ms%20%7C%2053%2Fs%20%7C%200%20ms%20%7C%20forever%20%7C%20**falls%20over**%20%7C%20cannot%20keep%20up%20with%20200%2Fs%20%7C%0A%20%20%20%20%7C%204%20%7C%2021.6%20ms%20%7C%20185%2Fs%20%7C%2015%20ms%20%7C%20forever%20%7C%20**falls%20over**%20%7C%20still%20under%20200%2Fs%20%7C%0A%20%20%20%20%7C%205%20%7C%2022.5%20ms%20%7C%20222%2Fs%20%7C%2020%20ms%20%7C%20202%20ms%20%7C%20245%20ms%20%7C%20only%20just%20keeping%20up%20%7C%0A%20%20%20%20%7C%206%20%7C%2023.4%20ms%20%7C%20256%2Fs%20%7C%2025%20ms%20%7C%2083%20ms%20%7C%20**131%20ms**%20%7C%20first%20one%20that%20works%20%7C%0A%20%20%20%20%7C%20**9**%20%7C%20**26.1%20ms**%20%7C%20**345%2Fs**%20%7C%20**40%20ms**%20%7C%20**20%20ms**%20%7C%20**102%20ms**%20%7C%20**the%20best**%20%7C%0A%20%20%20%20%7C%2019%20%7C%2035.1%20ms%20%7C%20541%2Fs%20%7C%2090%20ms%20%7C%2020%20ms%20%7C%20**145%20ms**%20%7C%20last%20one%20that%20works%20%7C%0A%20%20%20%20%7C%2020%20%7C%2036.0%20ms%20%7C%20556%2Fs%20%7C%2095%20ms%20%7C%2020%20ms%20%7C%20151%20ms%20%7C%20waiting%20time%20tips%20it%20over%20%7C%0A%20%20%20%20%7C%2064%20%7C%2075.6%20ms%20%7C%20847%2Fs%20%7C%20315%20ms%20%7C%2023%20ms%20%7C%20414%20ms%20%7C%20waiting%20alone%20blows%20the%20budget%20%7C%0A%0A%20%20%20%20**Read%20the%20table%20from%20the%20top%20and%20the%20story%20tells%20itself.**%0A%0A%20%20%20%20**Step%20one%3A%20can%20it%20even%20keep%20up%3F**%20At%20batch%201%20the%20GPU%20finishes%20a%20job%20every%2018.9%20ms%2C%20which%20is%0A%20%20%20%20about%20**53%20people%20a%20second**.%20But%20200%20people%20a%20second%20are%20arriving.%20Every%20second%2C%20roughly%20150%0A%20%20%20%20people%20join%20a%20queue%20that%20nobody%20is%20ever%20going%20to%20clear.%20It%20does%20not%20matter%20how%20patient%20your%0A%20%20%20%20customers%20are.%20The%20wait%20grows%20forever%20and%20the%20service%20falls%20over.%20Batches%20of%201%20to%204%20all%20have%0A%20%20%20%20this%20problem.%0A%0A%20%20%20%20*This%20is%20the%20bit%20almost%20everyone%20gets%20wrong.*%20%22Small%20batch%20means%20fast%22%20is%20true%20when%20the%20system%0A%20%20%20%20is%20quiet.%20When%20it%20is%20busy%2C%20small%20batches%20are%20the%20thing%20that%20kills%20you.%0A%0A%20%20%20%20**Step%20two%3A%20stop%20drowning.**%20Once%20the%20GPU%20can%20just%20about%20keep%20up%20(batch%205)%2C%20it%20is%20running%20flat%0A%20%20%20%20out%20with%20no%20slack.%20Anything%20that%20arrives%20at%20a%20bad%20moment%20sits%20behind%20a%20queue%2C%20202%20ms%20of%20it.%0A%20%20%20%20Give%20the%20GPU%20a%20bit%20more%20room%20and%20this%20collapses%20fast%3A%20by%20batch%209%20it%20is%20only%20busy%2058%25%20of%20the%0A%20%20%20%20time%2C%20and%20queueing%20is%20down%20to%2020%20ms.%0A%0A%20%20%20%20**Step%20three%3A%20now%20the%20waiting%20bites.**%20With%20the%20queue%20under%20control%2C%20the%20only%20thing%20left%0A%20%20%20%20growing%20is%20people%20waiting%20for%20the%20batch%20to%20fill%2C%20and%20at%20200%20people%20a%20second%20that%20is%205%20ms%20for%0A%20%20%20%20every%20extra%20slot%20you%20add.%20It%20never%20stops%20growing.%20Past%20batch%2019%20it%20eats%20the%20whole%20budget%20on%0A%20%20%20%20its%20own.%0A%0A%20%20%20%20So%3A%20**falls%20over%20on%20the%20left%2C%20too%20much%20waiting%20on%20the%20right%2C%20and%20a%20narrow%20band%20in%20the%20middle%0A%20%20%20%20where%20it%20works.**%20That%20is%20the%20U-shape%20in%20the%20chart.%0A%0A%20%20%20%20**The%20thing%20to%20take%20away.**%20That%2018%20ms%20of%20setup%20gets%20shared.%20At%20batch%201%2C%20one%20person%20pays%20the%0A%20%20%20%20whole%2018%20ms%20and%2095%25%20of%20their%20wait%20is%20pure%20overhead.%20At%20batch%209%2C%20nine%20people%20split%20it%20and%20each%0A%20%20%20%20effectively%20pays%202.9%20ms.%20Batching%20is%20not%20a%20price%20you%20pay%20for%20speed.%20When%20the%20system%20is%0A%20%20%20%20busy%2C%20**it%20is%20the%20only%20reason%20the%20service%20works%20at%20all.**%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20if%20more%20(or%20fewer)%20people%20showed%20up%3F%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20There%20is%20no%20single%20right%20batch%20size.%20It%20depends%20entirely%20on%20how%20busy%20you%20are%2C%20which%20is%0A%20%20%20%20why%20the%20answer%20belongs%20to%20the%20*system*%2C%20not%20to%20the%20model.%0A%0A%20%20%20%20%7C%20People%20per%20second%20%7C%20Batch%20sizes%20that%20work%20%7C%20Best%20choice%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%2050%20%7C%202%20to%207%20%7C%20batch%202%2C%20and%20nobody%20waits%20more%20than%2059%20ms%20%7C%0A%20%20%20%20%7C%20100%20%7C%203%20to%2012%20%7C%20batch%204%2C%2077%20ms%20%7C%0A%20%20%20%20%7C%20200%20%7C%206%20to%2019%20%7C%20batch%209%2C%20102%20ms%20%7C%0A%20%20%20%20%7C%20400%20%7C%20**none%20of%20them**%20%7C%20the%20best%20you%20can%20do%20is%20173%20ms%2C%20so%20you%20need%20another%20GPU%20%7C%0A%0A%20%20%20%20Two%20things%20worth%20noticing.%0A%0A%20%20%20%20**The%20busier%20you%20get%2C%20the%20bigger%20your%20batches%20have%20to%20be**%20just%20to%20keep%20up.%20The%20quiet-day%0A%20%20%20%20answer%20is%20the%20wrong%20answer%20on%20a%20busy%20day%2C%20so%20design%20for%20your%20busiest%20hour%2C%20not%20your%20average%0A%20%20%20%20one.%0A%0A%20%20%20%20**At%20400%20people%20a%20second%2C%20nothing%20works.**%20Sometimes%20the%20honest%20answer%20really%20is%20*%22we%20cannot%0A%20%20%20%20do%20this%20with%20what%20we%20have%22*.%20Saying%20that%20clearly%2C%20with%20the%20numbers%20to%20back%20it%20up%2C%20is%20a%20proper%0A%20%20%20%20engineering%20result%2C%20not%20a%20failure%20to%20find%20the%20trick.%0A%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20prediction_locked)%3A%0A%20%20%20%20_%20%3D%20prediction_locked%0A%20%20%20%20mo.md(r%22%22%22%23%23%20Part%207%3A%20Your%20decision%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(batch%2C%20locked%2C%20mo%2C%20pick%2C%20prediction_locked%2C%20saved)%3A%0A%20%20%20%20_%20%3D%20prediction_locked%0A%20%20%20%20_saved%20%3D%20saved.get(%22decision%22)%20or%20%7B%7D%0A%20%20%20%20_choices%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Yes%2C%20ship%20it.%20I%20can%20name%20a%20batch%20size%20that%20keeps%20our%20promise%22%3A%20%22ship%22%2C%0A%20%20%20%20%20%20%20%20%22Ship%20it%2C%20but%20buy%20a%20second%20GPU%20so%20we%20are%20not%20running%20at%20the%20edge%22%3A%20%22ship_scale%22%2C%0A%20%20%20%20%20%20%20%20%22No.%20We%20cannot%20keep%20this%20promise%20on%20one%20GPU%2C%20and%20I%20can%20show%20why%22%3A%20%22hold%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20decision_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%7Bchoice%7D%0A%0A%20%20%20%20%20%20%20%20%7Bwhy%7D%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%3Dmo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D_choices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_choices%2C%20_saved.get(%22choice%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Your%20decision.**%20What%20do%20you%20tell%20your%20manager%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20why%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22why%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Say%20which%20batch%20size%20you%20picked%2C%20what%20the%20slowest%205%25%20end%20up%20waiting%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20what%20would%20make%20you%20change%20your%20answer.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Why%3F**%20Write%20it%20as%20if%20your%20manager%20will%20read%20it%20and%20push%20back.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Submit%20my%20decision%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20one%20of%20the%20three%20answers.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20v%20or%20v.get(%22choice%22)%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20your%20reasoning%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20(v.get(%22why%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22Your%20batch%20size%20is%20currently%20**%7Bbatch.value%7D**.%20Change%20it%20above%20if%20you%20want%20to.%22)%2C%0A%20%20%20%20%20%20%20%20decision_form%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(decision_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20(decision_form.value%20or%20saved.get(%22decision%22))%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Pick%20a%20decision%2C%20explain%20it%2C%20then%20press%20**Submit%20my%20decision**%20to%20finish%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20lab.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20decision_choice%20%3D%20(decision_form.value%20or%20saved.get(%22decision%22))%5B%22choice%22%5D%0A%20%20%20%20defence_text%20%3D%20(decision_form.value%20or%20saved.get(%22decision%22))%5B%22why%22%5D.strip()%0A%20%20%20%20return%20decision_choice%2C%20defence_text%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%208%3A%20One%20last%20question%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_saved%20%3D%20saved.get(%22answers%22)%20or%20%7B%7D%0A%20%20%20%20answers_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%7Btakeaway%7D%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22takeaway%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22The%20thing%20that%20decided%20it%20was...%20and%20I%20would%20not%20have%20found%20that%20by%20looking%20at%20accuracy%20because...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**In%20your%20own%20words%3A**%20what%20actually%20decided%20whether%20this%20could%20ship%2C%20and%20why%20would%20you%20never%20have%20found%20it%20by%20looking%20at%20the%20accuracy%20score%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Finish%20the%20lab%20and%20make%20my%20report%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20if%20v%20and%20(v.get(%22takeaway%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20a%20sentence%20or%20two%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20answers_form%0A%20%20%20%20return%20(answers_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(answers_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20(answers_form.value%20or%20saved.get(%22answers%22))%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22Write%20both%20answers%2C%20then%20press%20**Finish%20the%20lab%20and%20make%20my%20report**.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20)%0A%20%20%20%20takeaway_text%20%3D%20(answers_form.value%20or%20saved.get(%22answers%22))%5B%22takeaway%22%5D.strip()%0A%20%20%20%20done%20%3D%20True%0A%20%20%20%20return%20(done%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20batch%2C%0A%20%20%20%20decision_choice%2C%0A%20%20%20%20defence_text%2C%0A%20%20%20%20meets_sla%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20p95_ms%2C%0A%20%20%20%20predict_choice%2C%0A%20%20%20%20predict_reason%2C%0A%20%20%20%20q0%2C%0A%20%20%20%20q0_sum%2C%0A%20%20%20%20q3%2C%0A%20%20%20%20q3_sum%2C%0A)%3A%0A%20%20%20%20_p95%20%3D%20%22overloaded%22%20if%20p95_ms%20%3D%3D%20float(%22inf%22)%20else%20f%22%7Bp95_ms%3A.0f%7D%20ms%22%0A%20%20%20%20_label%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22tiny%22%3A%20%22as%20small%20as%20possible%20(1-4)%22%2C%0A%20%20%20%20%20%20%20%20%22moderate%22%3A%20%22moderate%20(8-16)%22%2C%0A%20%20%20%20%20%20%20%20%22huge%22%3A%20%22as%20large%20as%20possible%20(64%2B)%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_chosen%20%3D%20int(batch.value)%0A%20%20%20%20_correct%20%3D%20predict_choice%20%3D%3D%20%22moderate%22%0A%20%20%20%20_optimal%20%3D%206%20%3C%3D%20_chosen%20%3C%3D%2019%0A%0A%20%20%20%20_verdict%20%3D%20('%3Cspan%20class%3D%22tick%22%3Eright%3C%2Fspan%3E'%20if%20_correct%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20'%3Cspan%20class%3D%22cross%22%3Ewrong%3C%2Fspan%3E')%0A%20%20%20%20_promise%20%3D%20('%3Cspan%20class%3D%22tick%22%3Ekeeps%3C%2Fspan%3E'%20if%20meets_sla%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20'%3Cspan%20class%3D%22cross%22%3Ebreaks%3C%2Fspan%3E')%0A%20%20%20%20_decisions%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22ship%22%3A%20%22Ship%20it%22%2C%0A%20%20%20%20%20%20%20%20%22ship_scale%22%3A%20%22Ship%20it%2C%20and%20add%20a%20second%20machine%22%2C%0A%20%20%20%20%20%20%20%20%22hold%22%3A%20%22Do%20not%20ship%20it%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20def%20_check(summary)%3A%0A%20%20%20%20%20%20%20%20text%2C%20ok%20%3D%20summary%0A%20%20%20%20%20%20%20%20if%20ok%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20'%3Cem%3Enot%20answered%3C%2Fem%3E'%0A%20%20%20%20%20%20%20%20mark%20%3D%20'%3Cspan%20class%3D%22tick%22%3Eright%3C%2Fspan%3E'%20if%20ok%20else%20'%3Cspan%20class%3D%22cross%22%3Ewrong%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20return%20f%22%7Btext%7D%20(%7Bmark%7D)%22%0A%0A%20%20%20%20_c1%20%3D%20_check(q0_sum(q0.value))%0A%20%20%20%20_c2%20%3D%20_check(q3_sum(q3.value))%0A%0A%20%20%20%20_warn%20%3D%20(%22%22%20if%20_optimal%20else%0A%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cdiv%20class%3D%22row%22%3E%3Cspan%20class%3D%22k%22%3EWorth%20another%20look%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20class%3D%22v%22%3EBatch%20%7B_chosen%7D%20is%20outside%20the%206%20to%2019%20range%20that%20'%0A%20%20%20%20%20%20%20%20%20%20%20%20%20f'works.%3C%2Fspan%3E%3C%2Fdiv%3E')%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Your%20Week%201%20report%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22lab-report%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EYou%20guessed%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_label%5Bpredict_choice%5D%7D%2C%20which%20was%20%7B_verdict%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EThe%20answer%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3EModerate%20(8%20to%2016).%20Anything%20from%206%20to%2019%20works%2C%20and%209%20is%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20best%20at%20102%20ms.%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EYour%20reason%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Bpredict_reason%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EYou%20settled%20on%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3EBatch%20%7B_chosen%7D.%20The%20slowest%205%25%20wait%20%7B_p95%7D%2C%20which%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_promise%7D%20the%20150%20ms%20promise.%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EYour%20decision%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_decisions.get(decision_choice%2C%20decision_choice)%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhy%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Bdefence_text%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%201%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_c1%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%202%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_c2%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B_warn%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20done%2C%20lab_sync%2C%20locked%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20done%2C%20decision_choice%0A%20%20%20%20submit_button%20%3D%20mo.ui.run_button(%0A%20%20%20%20%20%20%20%20label%3D%22Submit%20my%20work%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlab_sync%20is%20None%20or%20locked%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%22Send%20your%20answers%20to%20your%20instructor%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Submit%20your%20work%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Your%20answers%20have%20been%20saving%20as%20you%20went.%20When%20you%20are%20happy%20with%20them%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22press%20the%20button%20to%20hand%20the%20lab%20in.%20You%20can%20change%20answers%20and%20submit%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22again%20until%20your%20instructor%20locks%20the%20lab.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20submit_button%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(submit_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20answers_form%2C%0A%20%20%20%20lab_status%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20locked%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20saved%2C%0A%20%20%20%20submit_button%2C%0A)%3A%0A%20%20%20%20%23%20Runs%20when%20the%20button%20is%20pressed%2C%20and%20otherwise%20just%20says%20where%20things%20stand.%0A%20%20%20%20if%20lab_sync%20is%20None%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20copy%20of%20the%20lab%20is%20not%20connected%20to%20the%20course%20site%2C%20so%20it%20cannot%20be%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted%20from%20here.%22%2C%20%22neutral%22)%0A%20%20%20%20elif%20submit_button.value%3A%0A%20%20%20%20%20%20%20%20_reply%20%3D%20await%20lab_sync.submit(%0A%20%20%20%20%20%20%20%20%20%20%20%20answers%3Danswers_form.value%20or%20saved.get(%22answers%22)%2C%20finished%3DTrue)%0A%20%20%20%20%20%20%20%20if%20_reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Submitted.**%20Your%20instructor%20can%20see%20your%20work.%22%2C%20%22success%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22locked%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted.**%20Your%20instructor%20has%20locked%20this%20lab.%22%2C%20%22danger%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Not%20submitted%3A**%20%7B_reply.get('error'%2C%20'something%20went%20wrong')%7D.%20Your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20are%20still%20saved.%20Press%20**Submit%20my%20work**%20to%20try%20again.%22%2C%20%22danger%22)%0A%20%20%20%20elif%20lab_sync.last_submitted%20or%20lab_status.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20_when%20%3D%20str(lab_sync.last_submitted%20or%20lab_status.get(%22submittedAt%22)%20or%20%22%22)%5B%3A10%5D%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Submitted%20on%20%7B_when%7D.**%20Changed%20something%20since%3F%20Press%20**Submit%20my%20work**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22again.%22%2C%20%22success%22)%0A%20%20%20%20elif%20locked%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22Your%20instructor%20has%20locked%20this%20lab%2C%20so%20it%20can%20no%20longer%20be%20submitted.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted%20yet.**%20Press%20**Submit%20my%20work**%20when%20you%20are%20done.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20decision_choice%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Check%20yourself%22)%2C%0A%20%20%20%20%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20can%20a%20GPU%20that%20finishes%20an%20inference%20in%2018.9%20ms%20not%20serve%20200%20requests%20per%20second%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Because%2018.9%20ms%20*per%20request*%20is%201000%20%2F%2018.9%20%3D%20**53%20requests%20per%20second**%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%2018%20ms%20setup%20is%20paid%20once%20per%20*call*%2C%20not%20per%20item.%20At%20batch%201%20you%20spend%2095%25%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22of%20the%20call%20on%20overhead%20to%20serve%20a%20single%20request.%20Batching%20amortises%20that%20fixed%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cost%3A%20at%20batch%209%20the%20same%20overhead%20is%20spread%20across%20nine%20items%2C%20giving%202.9%20ms%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22per%20item%20and%20345%20req%2Fs.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20does%20p95%20latency%20rise%20again%20past%20batch%2019%2C%20even%20though%20the%20GPU%20is%20more%20efficient%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20**fill%20wait**%20takes%20over.%20At%20200%20req%2Fs%20a%20batch%20of%20size%20*b*%20takes%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%605%20x%20(b%20-%201)%60%20ms%20to%20fill%2C%20and%20that%20grows%20linearly%20forever.%20Meanwhile%20queueing%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22delay%20has%20already%20bottomed%20out%20near%2020%20ms.%20Once%20the%20GPU%20has%20room%20to%20spare%2C%20extra%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22efficiency%20buys%20nothing.%20At%20batch%2064%20the%20fill%20wait%20alone%20is%20315%20ms.%20The%20GPU%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22idle%20waiting%20for%20work%20that%20has%20not%20arrived%20yet.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20SLA%20is%20p95%2C%20not%20average.%20Why%20does%20that%20matter%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Averages%20hide%20the%20queue.%20A%20system%20at%2090%25%20utilisation%20can%20have%20a%20perfectly%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22acceptable%20mean%20while%20the%20slowest%205%25%20of%20requests%20wait%20several%20hundred%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22milliseconds.%20Batch%205%20in%20this%20lab%20averages%20far%20better%20than%20its%20245%20ms%20p95.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Contracts%20are%20written%20on%20tails%20because%20that%20is%20what%20users%20actually%20notice%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tail%20latency%20is%20where%20queueing%20shows%20up%20first.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Your%20service%20is%20at%20400%20req%2Fs%20and%20no%20batch%20size%20meets%20the%20SLA.%20What%20do%20you%20tell%20your%20product%20lead%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22That%20the%20contract%20cannot%20be%20met%20on%20one%20GPU%2C%20with%20the%20number%20that%20proves%20it%3A%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22best%20achievable%20p95%20is%20**173%20ms%20against%20a%20150%20ms%20budget**.%20Then%20give%20them%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22options%3A%20add%20a%20second%20GPU%2C%20renegotiate%20to%20200%20ms%2C%20or%20reduce%20the%20per-item%20cost%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22(quantisation%2C%20a%20smaller%20model).%20**%5C%22No%2C%20and%20here%20is%20the%20evidence%5C%22%20is%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22legitimate%20engineering%20result.**%20Shipping%20something%20you%20know%20breaches%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22contract%20is%20not.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20single%20measurement%20would%20most%20change%20your%20recommendation%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20**arrival%20rate**%2C%20and%20specifically%20its%20peak%20rather%20than%20its%20mean.%20Every%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22number%20in%20this%20lab%20is%20conditional%20on%20200%20req%2Fs%3A%20at%20100%20req%2Fs%20the%20feasible%20band%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22is%203-12%20and%20batch%204%20gives%2077%20ms%3B%20at%20400%20req%2Fs%20nothing%20works.%20A%20design%20defended%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22on%20average%20load%20is%20a%20design%20that%20fails%20at%20peak.%20Second%20most%20important%3A%20whether%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%2218%20ms%20of%20setup%20is%20truly%20fixed.%20If%20it%20can%20be%20reduced%2C%20the%20whole%20curve%20shifts%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22down%20and%20the%20feasible%20band%20widens.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(answers_form%2C%20guess_form%2C%20lab_sync%2C%20q0%2C%20q3)%3A%0A%20%20%20%20%23%20Answers%20that%20are%20on%20the%20page%20from%20the%20start.%20A%20form's%20value%20is%20None%20until%0A%20%20%20%20%23%20it%20is%20submitted%20in%20this%20visit%2C%20so%20it%20is%20only%20recorded%20once%20it%20has%20one.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record(q0%3Dq0.value%2C%20q3%3Dq3.value)%0A%20%20%20%20%20%20%20%20if%20guess_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(guess%3Dguess_form.value)%0A%20%20%20%20%20%20%20%20if%20answers_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(answers%3Danswers_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(batch%2C%20decision_form%2C%20lab_sync%2C%20load)%3A%0A%20%20%20%20%23%20These%20only%20exist%20once%20the%20guess%20is%20in.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record(batch%3Dbatch.value%2C%20load%3Dload.value)%0A%20%20%20%20%20%20%20%20if%20decision_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(decision%3Ddecision_form.value)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A