Week 2: Where Does It Actually Run?

Week 2: Where Does It Actually Run? - CSC/EE 8001

import%20marimo%0A%0A__generated_with%20%3D%20%220.24.0%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Week%202%20-%20Where%20Does%20It%20Actually%20Run%22%2C%0A)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20json%0A%0A%20%20%20%20return%20json%2C%20mo%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(json%2C%20mo)%3A%0A%20%20%20%20%23%20Progress%20saving.%20On%20the%20course%20site%2C%20labs%2Fgate%2Fgate.js%20signs%20the%20student%20in%0A%20%20%20%20%23%20and%20tags%20this%20tab%20with%20an%20%22rl%22%20query%20parameter.%20The%20notebook%20runs%20in%20a%20web%0A%20%20%20%20%23%20worker%2C%20so%20it%20talks%20to%20that%20script%20over%20a%20BroadcastChannel%20named%20after%20the%0A%20%20%20%20%23%20tag%2C%20and%20the%20script%20makes%20the%20API%20calls.%20Opened%20any%20other%20way%20(marimo%20edit%2C%0A%20%20%20%20%23%20a%20plain%20export)%20there%20is%20no%20tag%20and%20nothing%20is%20saved.%0A%20%20%20%20import%20sys%20as%20_sys%0A%0A%20%20%20%20class%20LabSync%3A%0A%20%20%20%20%20%20%20%20def%20__init__(self%2C%20tab)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20js%20import%20BroadcastChannel%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.ffi%20import%20create_proxy%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%20%3D%20%7B%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel%20%3D%20BroadcastChannel.new(%22radiant-lab-%22%20%2B%20tab)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._listener%20%3D%20create_proxy(self._receive)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.onmessage%20%3D%20self._listener%0A%0A%20%20%20%20%20%20%20%20def%20_receive(self%2C%20event)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20json.loads(event.data)%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20(TypeError%2C%20ValueError)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%0A%20%20%20%20%20%20%20%20%20%20%20%20waiting%20%3D%20self._waiting.pop(message.get(%22id%22)%2C%20None)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20waiting%20is%20not%20None%20and%20not%20waiting.done()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20waiting.set_result(message)%0A%0A%20%20%20%20%20%20%20%20def%20_send(self%2C%20op%2C%20message_id%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20message%20%3D%20%7B%22id%22%3A%20message_id%2C%20%22op%22%3A%20op%2C%20%22from%22%3A%20%22notebook%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20message.update(fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20self._channel.postMessage(json.dumps(message))%0A%0A%20%20%20%20%20%20%20%20async%20def%20_request(self%2C%20op%2C%20timeout%3DNone%2C%20**fields)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20asyncio%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20message_id%20%3D%20uuid.uuid4().hex%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20asyncio.get_event_loop().create_future()%0A%20%20%20%20%20%20%20%20%20%20%20%20self._waiting%5Bmessage_id%5D%20%3D%20reply%0A%20%20%20%20%20%20%20%20%20%20%20%20self._send(op%2C%20message_id%2C%20**fields)%0A%20%20%20%20%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20await%20(reply%20if%20timeout%20is%20None%20else%20asyncio.wait_for(reply%2C%20timeout))%0A%20%20%20%20%20%20%20%20%20%20%20%20except%20asyncio.TimeoutError%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%22ok%22%3A%20False%2C%20%22error%22%3A%20%22the%20page%20did%20not%20answer%20in%20time%22%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20finally%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._waiting.pop(message_id%2C%20None)%0A%0A%20%20%20%20%20%20%20%20async%20def%20load(self)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Wait%20for%20sign-in%2C%20then%20return%20what%20this%20student%20saved%20before.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22load%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state%20%3D%20dict(reply.get(%22state%22)%20or%20%7B%7D)%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20%20%20%20%20def%20record(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Remember%20these%20answers%3B%20the%20page%20saves%20them%20a%20moment%20later.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20uuid%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20changed%20%3D%20%7Bk%3A%20v%20for%20k%2C%20v%20in%20answers.items()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20k%20not%20in%20self.state%20or%20self.state%5Bk%5D%20!%3D%20v%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20changed%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(changed)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self._send(%22save%22%2C%20uuid.uuid4().hex%2C%20state%3Dself.state)%0A%0A%20%20%20%20%20%20%20%20async%20def%20submit(self%2C%20**answers)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22Save%20everything%20now%20and%20mark%20the%20lab%20as%20submitted.%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20self.state.update(answers)%0A%20%20%20%20%20%20%20%20%20%20%20%20reply%20%3D%20await%20self._request(%22submit%22%2C%20timeout%3D45%2C%20state%3Dself.state)%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20self.last_submitted%20%3D%20reply.get(%22submittedAt%22)%20or%20%22today%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20reply%0A%0A%20%20%20%20def%20pick(options%2C%20value)%3A%0A%20%20%20%20%20%20%20%20%22%22%22The%20label%20a%20radio%20should%20show%20for%20a%20saved%20value%2C%20or%20None.%22%22%22%0A%20%20%20%20%20%20%20%20return%20next((label%20for%20label%2C%20v%20in%20options.items()%20if%20v%20%3D%3D%20value)%2C%20None)%0A%0A%20%20%20%20lab_sync%20%3D%20None%0A%20%20%20%20lab_status%20%3D%20%7B%7D%0A%20%20%20%20saved%20%3D%20%7B%7D%0A%20%20%20%20locked%20%3D%20False%0A%20%20%20%20_tab%20%3D%20mo.query_params().get(%22rl%22)%20if%20%22pyodide%22%20in%20_sys.modules%20else%20None%0A%20%20%20%20if%20_tab%3A%0A%20%20%20%20%20%20%20%20lab_sync%20%3D%20LabSync(_tab)%0A%20%20%20%20%20%20%20%20lab_status%20%3D%20await%20lab_sync.load()%0A%20%20%20%20%20%20%20%20saved%20%3D%20dict(lab_sync.state)%0A%20%20%20%20%20%20%20%20locked%20%3D%20bool(lab_status.get(%22locked%22))%0A%20%20%20%20return%20lab_status%2C%20lab_sync%2C%20locked%2C%20pick%2C%20saved%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20def%20ask(prompt%2C%20options%2C%20correct%2C%20explain%2C%20key)%3A%0A%20%20%20%20%20%20%20%20%22%22%22A%20quick%20check%20you%20can%20answer%20as%20many%20times%20as%20you%20like.%0A%0A%20%20%20%20%20%20%20%20Returns%20(radio%2C%20render%2C%20summarise).%20Pass%20radio.value%20to%20render()%3B%20the%0A%20%20%20%20%20%20%20%20report%20uses%20summarise()%20to%20include%20the%20answer%20at%20the%20end%20of%20the%20lab.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20labels%20%3D%20%7Bvalue%3A%20label%20for%20label%2C%20value%20in%20options.items()%7D%0A%20%20%20%20%20%20%20%20BREAK%20%3D%20chr(10)%20%2B%20chr(10)%0A%0A%20%20%20%20%20%20%20%20radio%20%3D%20mo.ui.radio(options%3Doptions%2C%20label%3Dprompt%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(options%2C%20saved.get(key))%2C%20disabled%3Dlocked)%0A%0A%20%20%20%20%20%20%20%20def%20render(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(%22Pick%20an%20answer%20and%20I%20will%20explain%20it.%22)%2C%20kind%3D%22neutral%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20ok%20%3D%20value%20%3D%3D%20correct%0A%20%20%20%20%20%20%20%20%20%20%20%20body%20%3D%20(%22**Correct.**%20%22%20if%20ok%20else%20%22**Not%20quite.**%20%22)%20%2B%20explain%5Bvalue%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20ok%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20body%20%2B%3D%20BREAK%20%2B%20f%22The%20answer%20is%20*%7Blabels%5Bcorrect%5D%7D*.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20mo.callout(mo.md(body)%2C%20kind%3D%22success%22%20if%20ok%20else%20%22warn%22)%0A%0A%20%20%20%20%20%20%20%20def%20summarise(value)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20value%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20return%20%22not%20answered%22%2C%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20labels%5Bvalue%5D%2C%20value%20%3D%3D%20correct%0A%0A%20%20%20%20%20%20%20%20return%20radio%2C%20render%2C%20summarise%0A%0A%20%20%20%20return%20(ask%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20LAB_CSS%20%3D%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cstyle%3E%0A%20%20%20%20%20%20%20%20%20%20.w2-hero%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-left%3A%206px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20background%3A%20%23fffef8%3B%20border-radius%3A%2012px%3B%20padding%3A%2020px%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-eyebrow%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.76rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.08em%3B%20text-transform%3A%20uppercase%3B%20margin%3A%200%200%208px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-hero%20h1%20%7B%20margin%3A%200%200%208px%3B%20font-size%3A%201.75rem%3B%20color%3A%20%23111%3B%20line-height%3A%201.2%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-hero%20p.sub%20%7B%20margin%3A%200%3B%20color%3A%20%233a3a3a%3B%20font-size%3A%201.02rem%3B%20line-height%3A%201.65%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-chips%20%7B%20display%3A%20flex%3B%20flex-wrap%3A%20wrap%3B%20gap%3A%208px%3B%20margin-top%3A%2014px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-chip%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fff3cc%3B%20color%3A%20%2362490a%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%20999px%3B%20padding%3A%204px%2011px%3B%20font-size%3A%20.72rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20letter-spacing%3A%20.04em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-chip-plain%20%7B%20border-color%3A%20%23e0e0e0%3B%20background%3A%20%23f4f4f4%3B%20color%3A%20%234a4a4a%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w2-split%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%201.6fr%201fr%3B%20gap%3A%2024px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20start%3B%20margin%3A%204px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.w2-split%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-split%20%3E%20.body%20p%20%7B%20margin%3A%200%200%2012px%3B%20color%3A%20%232f2f2f%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%201rem%3B%20line-height%3A%201.7%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-split%20%3E%20.body%20p%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w2-aside%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%204px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fcfcfc%3B%20padding%3A%2015px%2017px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-aside%20h4%20%7B%20margin%3A%200%200%2010px%3B%20padding-left%3A%2024px%3B%20font-size%3A%20.76rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20letter-spacing%3A%20.06em%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-aside%20ol%20%7B%20margin%3A%200%3B%20padding-left%3A%2024px%3B%20list-style%3A%20decimal%20outside%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-aside%20li%20%7B%20color%3A%20%232f2f2f%3B%20font-size%3A%20.91rem%3B%20line-height%3A%201.5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin-bottom%3A%209px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-aside%20li%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-aside%20li%3A%3Amarker%20%7B%20color%3A%20%236a5314%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-aside%20.meta%20%7B%20border-top%3A%201px%20solid%20%23ececec%3B%20margin-top%3A%2013px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding-top%3A%2011px%3B%20padding-left%3A%2024px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-aside%20.meta%20div%20%7B%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20gap%3A%2010px%3B%20font-size%3A%20.85rem%3B%20margin-bottom%3A%206px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-aside%20.meta%20div%3Alast-child%20%7B%20margin-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-aside%20.meta%20dt%20%7B%20color%3A%20%236f6f6f%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-aside%20.meta%20dd%20%7B%20margin%3A%200%3B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20text-align%3A%20right%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w2-question%20%7B%20border%3A%201px%20solid%20%23f2dfaa%3B%20background%3A%20%23fffdf5%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20padding%3A%2014px%2018px%3B%20margin%3A%2018px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-question%20.lbl%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-question%20p%20%7B%20margin%3A%206px%200%200%3B%20color%3A%20%23111%3B%20font-size%3A%201.06rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line-height%3A%201.55%3B%20font-style%3A%20italic%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w2-homes%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20repeat(4%2C%201fr)%3B%20gap%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20900px)%20%7B%20.w2-homes%20%7B%20grid-template-columns%3A%201fr%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20560px)%20%7B%20.w2-homes%20%7B%20grid-template-columns%3A%201fr%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23dcdcdc%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%2014px%2015px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home.ok%20%20%7B%20border-top-color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home.bad%20%7B%20border-top-color%3A%20%23c62828%3B%20background%3A%20%23fefafa%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home%20h4%20%7B%20margin%3A%200%200%202px%3B%20font-size%3A%201rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home%20.where%20%7B%20color%3A%20%236f6f6f%3B%20font-size%3A%20.78rem%3B%20margin%3A%200%200%2010px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home%20dl%20%7B%20margin%3A%200%3B%20font-size%3A%20.84rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home%20dt%20%7B%20color%3A%20%236f6f6f%3B%20margin-top%3A%207px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home%20dd%20%7B%20margin%3A%201px%200%200%3B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home%20.verdict%20%7B%20margin-top%3A%2011px%3B%20padding-top%3A%209px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-top%3A%201px%20solid%20%23f0f0f0%3B%20font-size%3A%20.86rem%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home.ok%20%20.verdict%20%7B%20color%3A%20%232e7d32%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home.bad%20.verdict%20%7B%20color%3A%20%23c62828%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-home%20.why%20%7B%20display%3A%20block%3B%20font-weight%3A%20400%3B%20color%3A%20%236f6f6f%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20font-size%3A%20.8rem%3B%20margin-top%3A%202px%3B%20line-height%3A%201.4%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w2-report%20%7B%20border%3A%201px%20solid%20%23e6e6e6%3B%20border-top%3A%205px%20solid%20%23f1b82d%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%2012px%3B%20background%3A%20%23fff%3B%20padding%3A%204px%2020px%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20box-shadow%3A%200%208px%2020px%20rgba(17%2C%2017%2C%2017%2C%20.06)%3B%20margin%3A%206px%200%204px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-report%20.row%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20190px%201fr%3B%20gap%3A%2016px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20padding%3A%2012px%200%3B%20border-bottom%3A%201px%20solid%20%23f2f2f2%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20baseline%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-report%20.row%3Alast-child%20%7B%20border-bottom%3A%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20720px)%20%7B%20.w2-report%20.row%20%7B%20grid-template-columns%3A%201fr%3B%20gap%3A%203px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-report%20.k%20%7B%20color%3A%20%236a5314%3B%20font-size%3A%20.74rem%3B%20font-weight%3A%20800%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20letter-spacing%3A%20.06em%3B%20text-transform%3A%20uppercase%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-report%20.v%20%7B%20color%3A%20%231c1c1c%3B%20font-size%3A%20.99rem%3B%20line-height%3A%201.55%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-report%20.tick%20%7B%20color%3A%20%232e7d32%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-report%20.cross%20%7B%20color%3A%20%23c62828%3B%20font-weight%3A%20800%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-report%20.quote%20%7B%20border-left%3A%203px%20solid%20%23f1b82d%3B%20padding-left%3A%2012px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3A%20%23333%3B%20font-style%3A%20italic%3B%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20.w2-bars%20%7B%20display%3A%20flex%3B%20flex-direction%3A%20column%3B%20gap%3A%2010px%3B%20margin%3A%2016px%200%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-bar%20%7B%20display%3A%20grid%3B%20grid-template-columns%3A%20150px%201fr%20100px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20align-items%3A%20center%3B%20gap%3A%2012px%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%40media%20(max-width%3A%20640px)%20%7B%20.w2-bar%20%7B%20grid-template-columns%3A%20110px%201fr%2078px%3B%20%7D%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-bar%20.t%20%7B%20color%3A%20%234a4a4a%3B%20font-size%3A%20.87rem%3B%20line-height%3A%201.3%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-bar%20.track%20%7B%20display%3A%20block%3B%20background%3A%20%23f4f4f4%3B%20border%3A%201px%20solid%20%23ececec%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20border-radius%3A%206px%3B%20height%3A%2028px%3B%20overflow%3A%20hidden%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20%2F*%20A%20span%20is%20inline%20by%20default%2C%20so%20it%20ignores%20height%20and%20percentage%20width.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20Both%20of%20these%20have%20to%20be%20blocks%20or%20the%20bar%20renders%20empty.%20*%2F%0A%20%20%20%20%20%20%20%20%20%20.w2-bar%20.fill%20%7B%20display%3A%20block%3B%20height%3A%20100%25%3B%20background%3A%20%23c9c9c9%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-bar.win%20.fill%20%7B%20background%3A%20%23f1b82d%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-bar.win%20.t%20%7B%20color%3A%20%23111%3B%20font-weight%3A%20700%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-bar%20.n%20%7B%20text-align%3A%20right%3B%20font-weight%3A%20800%3B%20font-size%3A%20.9rem%3B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-total%20%7B%20border-top%3A%201px%20solid%20%23eee%3B%20margin-top%3A%2012px%3B%20padding-top%3A%2010px%3B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20display%3A%20flex%3B%20justify-content%3A%20space-between%3B%20font-size%3A%20.95rem%3B%20%7D%0A%20%20%20%20%20%20%20%20%20%20.w2-total%20b%20%7B%20color%3A%20%23111%3B%20%7D%0A%20%20%20%20%20%20%20%20%3C%2Fstyle%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20LAB_CSS%0A%20%20%20%20return%20(LAB_CSS%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-hero%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22w2-eyebrow%22%3ECSC%2FEE%208001%20%26middot%3B%20Week%202%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ch1%3EWhere%20Does%20It%20Actually%20Run%3F%3C%2Fh1%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22sub%22%3EA%20model%20has%20to%20live%20on%20a%20real%20machine%20somewhere.%20This%20lab%20is%20about%0A%20%20%20%20%20%20%20%20%20%20two%20questions%20you%20have%20to%20answer%20before%20it%20can%3A%20will%20it%20fit%2C%20and%20once%20it%20fits%2C%20how%0A%20%20%20%20%20%20%20%20%20%20long%20does%20it%20take%20to%20reply%3F%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-chips%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w2-chip%22%3EFour%20kinds%20of%20machine%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w2-chip%22%3EWhat%20fits%20where%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22w2-chip-plain%20w2-chip%22%3ENothing%20here%20is%20marked%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Ch2%3EBefore%20we%20start%3C%2Fh2%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-split%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22body%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EStart%20with%20what%20a%20model%20actually%20is%2C%20physically%2C%20once%20training%20is%20finished.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3E%3Cstrong%3EIt%20is%20a%20very%20long%20list%20of%20numbers.%3C%2Fstrong%3E%20That%20is%20genuinely%20all.%20When%0A%20%20%20%20%20%20%20%20%20%20%20%20someone%20says%20%22a%20model%20with%2025%20million%20parameters%22%2C%20they%20mean%20there%20are%2025%20million%0A%20%20%20%20%20%20%20%20%20%20%20%20numbers%20written%20down.%20Show%20it%20a%20photo%20and%20the%20computer%20does%20arithmetic%20with%20those%0A%20%20%20%20%20%20%20%20%20%20%20%20numbers%20until%20an%20answer%20falls%20out%20the%20other%20end.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThat%20matters%20here%20for%20one%20reason.%20Numbers%20take%20up%20room%2C%20and%20they%20have%20to%20be%0A%20%20%20%20%20%20%20%20%20%20%20%20somewhere%20the%20computer%20can%20reach%20quickly.%20So%20before%20a%20model%20can%20run%20anywhere%2C%20two%0A%20%20%20%20%20%20%20%20%20%20%20%20things%20have%20to%20be%20true.%20%3Cstrong%3EThe%20list%20has%20to%20fit%3C%2Fstrong%3E%2C%20and%20%3Cstrong%3Ethe%0A%20%20%20%20%20%20%20%20%20%20%20%20computer%20has%20to%20be%20able%20to%20read%20through%20it%20fast%20enough%3C%2Fstrong%3E%20that%20whoever%20asked%0A%20%20%20%20%20%20%20%20%20%20%20%20is%20still%20waiting.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cp%3EThis%20lab%20is%20those%20two%20questions%2C%20in%20that%20order.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Caside%20class%3D%22w2-aside%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Ch4%3EBy%20the%20end%20you%20can%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Col%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EWork%20out%20on%20paper%20whether%20a%20model%20will%20fit%20on%20a%20given%20machine.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3ESay%20what%20to%20do%20when%20it%20does%20not.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EBreak%20the%20time%20it%20takes%20to%20answer%20into%20three%20parts%2C%20and%20find%20the%20slow%20one.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cli%3EExplain%20why%20that%20answer%20changes%20when%20you%20send%20more%20work%20at%20once.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fol%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22meta%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3ETime%3C%2Fdt%3E%3Cdd%3Eabout%2030%20min%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EBefore%20this%3C%2Fdt%3E%3Cdd%3EWeek%201%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%3E%3Cdt%3EMarked%3F%3C%2Fdt%3E%3Cdd%3Eno%2C%20the%20quiz%20is%3C%2Fdd%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Faside%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20question%20this%20lab%20answers%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22I%20have%20a%20model%20and%20a%20machine.%20Will%20it%20fit%2C%20and%20will%20it%20be%20quick%20enough%3F%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%201%3A%20The%20machine%20it%20has%20to%20live%20on%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20list%20of%20numbers%20has%20to%20sit%20in%20the%20computer's%20**memory**.%20Not%20on%20its%20hard%20disk%2C%20which%20is%0A%20%20%20%20too%20slow%20to%20be%20useful%20here%2C%20but%20in%20the%20fast%20working%20memory%20the%20processor%20can%20reach%20directly.%0A%0A%20%20%20%20How%20much%20of%20that%20memory%20you%20get%20depends%20entirely%20on%20the%20machine%2C%20and%20machines%20vary%20far%20more%0A%20%20%20%20than%20most%20people%20expect.%20Almost%20everything%20you%20build%20ends%20up%20on%20one%20of%20these%20four.%0A%0A%20%20%20%20%7C%20Where%20%7C%20Answers%20in%20%7C%20Electricity%20%7C%20Memory%20it%20has%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%20**A%20data%20centre**%20%7C%20100%20to%20500%20ms%20%7C%203%20to%205%20megawatts%20%7C%20terabytes%20%7C%0A%20%20%20%20%7C%20**A%20local%20server**%20%7C%2010%20to%20100%20ms%20%7C%20100%20to%20200%20watts%20%7C%20gigabytes%20%7C%0A%20%20%20%20%7C%20**A%20phone**%20%7C%205%20to%2050%20ms%20%7C%203%20to%205%20watts%20%7C%20gigabytes%2C%20but%20you%20only%20get%20a%20slice%20%7C%0A%20%20%20%20%7C%20**A%20microcontroller**%20%7C%201%20to%2010%20ms%20%7C%2050%20to%20100%20milliwatts%20%7C%20kilobytes%20%7C%0A%0A%20%20%20%20Look%20at%20the%20electricity%20column%20twice.%20The%20top%20row%20is%20**megawatts**%2C%20about%20what%20a%20small%20town%0A%20%20%20%20uses.%20The%20bottom%20row%20is%20**milliwatts**%2C%20less%20than%20a%20hearing%20aid.%20Nine%20zeros%20between%20them.%0A%20%20%20%20Memory%20does%20the%20same%20thing%3A%20terabytes%20down%20to%20kilobytes.%0A%0A%20%20%20%20Why%20so%20far%20apart%3F%20Because%20of%20what%20each%20one%20is%20plugged%20into.%20The%20data%20centre%20is%20on%20the%20mains%2C%0A%20%20%20%20in%20a%20building%20built%20to%20carry%20the%20heat%20away.%20The%20little%20chip%20is%20running%20off%20a%20battery%20that%0A%20%20%20%20someone%20has%20to%20get%20a%20ladder%20out%20to%20change%2C%20and%20they%20would%20rather%20do%20that%20every%20two%20years%0A%20%20%20%20than%20every%20two%20weeks.%0A%0A%20%20%20%20Now%20look%20at%20the%20speed%20column%2C%20which%20runs%20the%20other%20way.%20The%20machine%20with%20almost%20nothing%20has%0A%20%20%20%20to%20answer%20the%20**fastest**.%0A%0A%20%20%20%20That%20is%20not%20a%20mistake%20either.%20When%20you%20ask%20a%20data%20centre%20something%2C%20you%20are%20a%20person%20at%20the%0A%20%20%20%20end%20of%20a%20network%2C%20and%20people%20will%20wait%20half%20a%20second%20without%20minding.%20The%20little%20chip%20is%20not%0A%20%20%20%20answering%20a%20person.%20It%20is%20inside%20a%20door%20that%20is%20closing%2C%20or%20a%20motor%20that%20is%20turning%2C%20and%0A%20%20%20%20those%20do%20not%20wait.%20It%20also%20has%20nobody%20to%20hand%20the%20job%20to.%20The%20phone%20can%20ask%20a%20server%2C%20the%0A%20%20%20%20server%20can%20ask%20a%20data%20centre%2C%20and%20the%20chip%20stuck%20on%20the%20wall%20can%20ask%20nobody.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q1%2C%20q1_render%2C%20q1_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20A%20data%20centre%20has%20a%20thousand%20times%20more%20of%20everything.%20Why%20would%20anyone%20put%20a%20model%20on%20a%20microcontroller%20instead%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Microcontrollers%20are%20faster%20at%20maths%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20the%20data%20centre%20is%20not%20there%3A%20no%20network%2C%20no%20time%20to%20wait%2C%20no%20battery%20to%20spare%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20is%20cheaper%20to%20train%20the%20model%20that%20way%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Microcontrollers%20are%20more%20accurate%20on%20small%20datasets%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%22%3A%20(%22The%20opposite%2C%20by%20a%20wide%20margin.%20A%20microcontroller%20does%20roughly%20a%20billionth%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20sums%20per%20second%20that%20a%20rack%20in%20a%20data%20centre%20does.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b%22%3A%20(%22Sending%20the%20work%20somewhere%20else%20costs%20a%20network%20round%20trip%2C%20and%20a%20lot%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22things%20cannot%20wait%20or%20have%20nowhere%20to%20send%20it.%20A%20doorbell%20in%20a%20house%20with%20bad%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22wifi%20still%20has%20to%20work.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22c%22%3A%20(%22Training%20almost%20never%20happens%20on%20the%20small%20device.%20It%20happens%20in%20the%20data%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22centre%2C%20and%20only%20the%20finished%20model%20is%20sent%20down.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22d%22%3A%20(%22Accuracy%20is%20a%20property%20of%20the%20model%20and%20the%20data%20it%20learned%20from%2C%20not%20of%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22chip%20it%20later%20runs%20on.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q1%22%2C%0A%20%20%20%20)%0A%20%20%20%20q1%0A%20%20%20%20return%20q1%2C%20q1_render%2C%20q1_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q1%2C%20q1_render)%3A%0A%20%20%20%20q1_render(q1.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%202%3A%20Will%20it%20fit%3F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Now%20the%20first%20of%20the%20two%20questions.%20Given%20a%20model%20and%20a%20machine%2C%20will%20the%20list%20of%20numbers%0A%20%20%20%20fit%20in%20the%20memory%20that%20machine%20has%3F%0A%0A%20%20%20%20You%20can%20work%20this%20out%20on%20paper%2C%20and%20it%20is%20worth%20seeing%20how%20simple%20it%20is.%0A%0A%20%20%20%20Each%20number%20in%20the%20list%20normally%20takes%20up%20**four%20bytes**.%20So%20a%20model%20with%2025%20million%20numbers%0A%20%20%20%20takes%2025%20million%20times%20four%2C%20which%20is%20100%20million%20bytes%2C%20or%20about%20**100%20MB**.%20Compare%20that%0A%20%20%20%20against%20the%20memory%20of%20the%20machine%2C%20and%20you%20have%20your%20answer.%0A%0A%20%20%20%20The%20cards%20below%20do%20exactly%20that%20sum%20for%20four%20machines%20at%20once.%20They%20also%20check%20the%20second%0A%20%20%20%20question%2C%20how%20long%20the%20machine%20takes%20to%20read%20the%20whole%20list%2C%20but%20leave%20that%20for%20now.%20Drag%0A%20%20%20%20the%20slider%20and%20watch%20which%20machines%20stay%20open%20to%20you.%0A%0A%20%20%20%20%2F%2F%2F%20admonition%20%7C%20Each%20card%20is%20one%20example%20chip%2C%20not%20a%20whole%20category%0A%20%20%20%20Chips%20in%20the%20same%20row%20differ%20wildly.%20An%20Arduino%20Uno%20has%20**2%20KB**%20of%20memory.%20The%20ESP32%20in%20a%0A%20%20%20%20smart%20plug%20has%20about%20**520%20KB**.%20That%20is%20250%20times%2C%20inside%20one%20row%2C%20and%20a%20model%20that%20runs%0A%20%20%20%20happily%20on%20one%20will%20not%20load%20at%20all%20on%20the%20other.%0A%0A%20%20%20%20So%20%22will%20it%20run%20on%20a%20microcontroller%22%20has%20no%20answer.%20**%22Will%20it%20run%20on%20this%20chip%22**%20does.%0A%20%20%20%20%2F%2F%2F%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20MODELS%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(0.05%2C%20%22a%20wake%20word%20spotter%2C%20the%20thing%20listening%20for%20'hey'%22)%2C%0A%20%20%20%20%20%20%20%20(0.5%2C%20%22a%20tiny%20image%20classifier%22)%2C%0A%20%20%20%20%20%20%20%20(3.5%2C%20%22MobileNet%2C%20built%20for%20phones%22)%2C%0A%20%20%20%20%20%20%20%20(25.0%2C%20%22ResNet-50%2C%20the%20workhorse%20image%20model%22)%2C%0A%20%20%20%20%20%20%20%20(110.0%2C%20%22BERT%20base%2C%20a%20small%20language%20model%22)%2C%0A%20%20%20%20%20%20%20%20(350.0%2C%20%22BERT%20large%22)%2C%0A%20%20%20%20%20%20%20%20(1500.0%2C%20%22GPT-2%22)%2C%0A%20%20%20%20%20%20%20%20(7000.0%2C%20%22a%207%20billion%20parameter%20chat%20model%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20size%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20steps%3D%5Bm%5B0%5D%20for%20m%20in%20MODELS%5D%2C%0A%20%20%20%20%20%20%20%20value%3Dsaved.get(%22size%22%2C%203.5)%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22Model%20size%2C%20in%20millions%20of%20numbers%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20_precisions%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%224%20bytes%20each%2C%20full%20precision%22%3A%204.0%2C%0A%20%20%20%20%20%20%20%20%222%20bytes%20each%2C%20half%22%3A%202.0%2C%0A%20%20%20%20%20%20%20%20%221%20byte%20each%2C%20quantised%22%3A%201.0%2C%0A%20%20%20%20%7D%0A%20%20%20%20precision%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D_precisions%2C%0A%20%20%20%20%20%20%20%20value%3Dpick(_precisions%2C%20saved.get(%22precision%22))%20or%20%224%20bytes%20each%2C%20full%20precision%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20inline%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20much%20space%20each%20number%20takes%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bsize%2C%20precision%5D)%0A%20%20%20%20return%20MODELS%2C%20precision%2C%20size%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(MODELS%2C%20precision%2C%20size)%3A%0A%20%20%20%20HOMES%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%23%20name%2C%20where%2C%20memory%20it%20has%20(MB)%2C%20read%20speed%20(GB%2Fs)%2C%20must%20answer%20within%20(ms)%0A%20%20%20%20%20%20%20%20(%22Data%20centre%22%2C%20%22one%20big%20accelerator%22%2C%2080_000.0%2C%202039.0%2C%20500.0)%2C%0A%20%20%20%20%20%20%20%20(%22Local%20server%22%2C%20%22a%20workstation%20card%22%2C%208_000.0%2C%20200.0%2C%20100.0)%2C%0A%20%20%20%20%20%20%20%20(%22Phone%22%2C%20%22what%20one%20app%20is%20allowed%22%2C%201_500.0%2C%2050.0%2C%2050.0)%2C%0A%20%20%20%20%20%20%20%20(%22Microcontroller%22%2C%20%22an%20ESP32%2C%20roughly%22%2C%200.5%2C%200.2%2C%2010.0)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20params_m%20%3D%20float(size.value)%0A%20%20%20%20bytes_each%20%3D%20float(precision.value)%0A%20%20%20%20%23%20Space%20taken%20up%20is%20simply%20how%20many%20numbers%20there%20are%20times%20how%20big%20each%20one%20is.%0A%20%20%20%20model_mb%20%3D%20params_m%20*%20bytes_each%0A%20%20%20%20describe%20%3D%20dict(MODELS).get(params_m%2C%20%22%22)%0A%0A%20%20%20%20results%20%3D%20%5B%5D%0A%20%20%20%20for%20_name%2C%20_where%2C%20_mem%2C%20_bw%2C%20_budget%20in%20HOMES%3A%0A%20%20%20%20%20%20%20%20fits%20%3D%20model_mb%20%3C%3D%20_mem%0A%20%20%20%20%20%20%20%20%23%20One%20answer%20means%20reading%20every%20number%20once%2C%20so%20time%20is%20size%20divided%20by%20read%20speed.%0A%20%20%20%20%20%20%20%20read_ms%20%3D%20(model_mb%20%2F%201024.0)%20%2F%20_bw%20*%201000.0%0A%20%20%20%20%20%20%20%20in_time%20%3D%20read_ms%20%3C%3D%20_budget%0A%20%20%20%20%20%20%20%20results.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22name%22%3A%20_name%2C%20%22where%22%3A%20_where%2C%20%22mem%22%3A%20_mem%2C%20%22budget%22%3A%20_budget%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fits%22%3A%20fits%2C%20%22read_ms%22%3A%20read_ms%2C%20%22in_time%22%3A%20in_time%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ok%22%3A%20fits%20and%20in_time%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22over%22%3A%20model_mb%20%2F%20_mem%20if%20_mem%20else%20float(%22inf%22)%2C%0A%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20return%20bytes_each%2C%20describe%2C%20model_mb%2C%20params_m%2C%20results%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20bytes_each%2C%20describe%2C%20mo%2C%20model_mb%2C%20params_m%2C%20results)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%0A%20%20%20%20def%20_size(mb)%3A%0A%20%20%20%20%20%20%20%20if%20mb%20%3E%3D%201024%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22%7Bmb%20%2F%201024%3A.1f%7D%20GB%22%0A%20%20%20%20%20%20%20%20if%20mb%20%3E%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22%7Bmb%3A.0f%7D%20MB%22%0A%20%20%20%20%20%20%20%20return%20f%22%7Bmb%20*%201024%3A.0f%7D%20KB%22%0A%0A%20%20%20%20def%20_time(ms)%3A%0A%20%20%20%20%20%20%20%20if%20ms%20%3E%3D%201%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22%7Bms%3A.1f%7D%20ms%22%0A%20%20%20%20%20%20%20%20if%20ms%20%3E%3D%200.001%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20f%22%7Bms%20*%201000%3A.0f%7D%20microseconds%22%0A%20%20%20%20%20%20%20%20return%20%22well%20under%20a%20microsecond%22%0A%0A%20%20%20%20_cards%20%3D%20%22%22%0A%20%20%20%20for%20r%20in%20results%3A%0A%20%20%20%20%20%20%20%20if%20r%5B%22ok%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20verdict%20%3D%20%22Runs%20here%22%0A%20%20%20%20%20%20%20%20%20%20%20%20why%20%3D%20f%22reads%20in%20%7B_time(r%5B'read_ms'%5D)%7D%2C%20budget%20is%20%7Br%5B'budget'%5D%3A.0f%7D%20ms%22%0A%20%20%20%20%20%20%20%20elif%20not%20r%5B%22fits%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20verdict%20%3D%20%22Will%20not%20fit%22%0A%20%20%20%20%20%20%20%20%20%20%20%20why%20%3D%20f%22%7Br%5B'over'%5D%3A.0f%7D%20times%20bigger%20than%20the%20memory%20available%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20verdict%20%3D%20%22Too%20slow%20here%22%0A%20%20%20%20%20%20%20%20%20%20%20%20why%20%3D%20f%22needs%20%7B_time(r%5B'read_ms'%5D)%7D%20to%20read%2C%20budget%20is%20%7Br%5B'budget'%5D%3A.0f%7D%20ms%22%0A%20%20%20%20%20%20%20%20_cards%20%2B%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-home%20%7B'ok'%20if%20r%5B'ok'%5D%20else%20'bad'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Ch4%3E%7Br%5B'name'%5D%7D%3C%2Fh4%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%20class%3D%22where%22%3E%7Br%5B'where'%5D%7D%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdl%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdt%3EMemory%20it%20has%3C%2Fdt%3E%3Cdd%3E%7B_size(r%5B'mem'%5D)%7D%3C%2Fdd%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdt%3EMust%20answer%20within%3C%2Fdt%3E%3Cdd%3E%7Br%5B'budget'%5D%3A.0f%7D%20ms%3C%2Fdd%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdl%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22verdict%22%3E%7Bverdict%7D%3Cspan%20class%3D%22why%22%3E%7Bwhy%7D%3C%2Fspan%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22**%7Bparams_m%3Ag%7D%20million%20numbers**%2C%20which%20is%20%7Bdescribe%7D.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22At%20%7Bbytes_each%3Ag%7D%20bytes%20each%20that%20takes%20up%20**%7B_size(model_mb)%7D**.%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(f'%3Cdiv%20class%3D%22w2-homes%22%3E%7B_cards%7D%3C%2Fdiv%3E')%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20results)%3A%0A%20%20%20%20_open%20%3D%20%5Br%5B%22name%22%5D%20for%20r%20in%20results%20if%20r%5B%22ok%22%5D%5D%0A%20%20%20%20if%20len(_open)%20%3D%3D%204%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20%22**Every%20machine%20on%20the%20list%20can%20run%20this%20one.**%22%2C%20%22success%22%0A%20%20%20%20elif%20_open%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Still%20fine%20on%3A**%20%7B'%2C%20'.join(_open)%7D.%20The%20rest%20have%20run%20out%20of%20something.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22info%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**Nowhere%20on%20this%20list%20can%20run%20it.**%20That%20is%20a%20real%20situation%2C%20and%20the%20answer%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22either%20a%20smaller%20model%20or%20a%20bigger%20machine%20than%20anything%20here.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22danger%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20you%20should%20have%20noticed%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20**Places%20drop%20out%20from%20the%20bottom%2C%20and%20they%20drop%20out%20early.**%20The%20microcontroller%20is%20gone%0A%20%20%20%20before%20you%20reach%20anything%20most%20people%20would%20call%20a%20big%20model.%20MobileNet%20was%20built%20to%20be%20small%0A%20%20%20%20and%20to%20run%20on%20phones%2C%20and%20it%20is%20still%20about%2028%20times%20too%20big%20for%20a%20microcontroller.%0A%0A%20%20%20%20**Memory%20runs%20out%20long%20before%20speed%20does.**%20Read%20the%20red%20cards%20again.%20They%20nearly%20all%20say%20%22will%0A%20%20%20%20not%20fit%22%2C%20not%20%22too%20slow%22.%20Once%20something%20fits%2C%20it%20is%20usually%20quick%20enough.%20People%20buy%20faster%0A%20%20%20%20chips%20when%20what%20actually%20stopped%20them%20was%20space.%0A%0A%20%20%20%20**The%20model%20never%20changed.**%20Same%20numbers%2C%20same%20order%2C%20the%20whole%20way%20along.%20All%20that%20changed%20was%0A%20%20%20%20where%20you%20asked%20it%20to%20live.%20Last%20week%20that%20point%20came%20at%20you%20through%20time.%20This%20week%20it%20comes%0A%20%20%20%20through%20space.%0A%0A%20%20%20%20**The%20top%20runs%20out%20too.**%20A%207%20billion%20number%20model%20is%2027%20GB.%20Only%20the%20data%20centre%20can%20hold%20it.%0A%20%20%20%20That%20is%20why%20the%20chat%20tools%20you%20use%20every%20day%20answer%20over%20a%20network%20instead%20of%20running%20on%20your%0A%20%20%20%20laptop.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20reading%20the%20model%20is%20what%20takes%20the%20time%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20To%20produce%20one%20answer%2C%20the%20machine%20has%20to%20read%20every%20number%20in%20the%20model%20at%20least%20once.%20It%0A%20%20%20%20cannot%20skip%20any%3A%20they%20all%20contribute.%0A%0A%20%20%20%20So%20the%20time%20has%20a%20floor%20set%20by%20something%20very%20ordinary%2C%20which%20is%20how%20fast%20that%20machine%20can%20pull%0A%20%20%20%20data%20out%20of%20its%20memory.%20A%20data%20centre%20accelerator%20moves%20about%202%2C000%20gigabytes%20a%20second.%20A%20phone%0A%20%20%20%20manages%20perhaps%2050.%20A%20microcontroller%2C%20a%20fraction%20of%20one.%0A%0A%20%20%20%20That%20gives%20you%20a%20quick%20sum%20you%20can%20do%20in%20your%20head%20before%20writing%20any%20code%3A%0A%0A%20%20%20%20%3E%20**time%20to%20read%20the%20model%20%3D%20size%20of%20the%20model%20divided%20by%20how%20fast%20the%20machine%20reads**%0A%0A%20%20%20%20For%20ResNet-50%20at%20100%20MB%20on%20a%20data%20centre%20accelerator%2C%20that%20is%20about%200.05%20milliseconds.%20On%20a%0A%20%20%20%20phone%2C%20about%202%20milliseconds.%20Both%20comfortably%20inside%20their%20budgets%2C%20which%20is%20why%20that%20model%20is%0A%20%20%20%20everywhere.%0A%0A%20%20%20%20This%20is%20rough.%20It%20ignores%20the%20sums%20themselves%2C%20and%20it%20assumes%20one%20answer%20at%20a%20time.%20But%20it%20gets%0A%20%20%20%20you%20close%20enough%20in%20about%20ten%20seconds%2C%20and%20close%20enough%20is%20usually%20all%20you%20need%20to%20decide.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q2%2C%20q2_render%2C%20q2_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20A%20model%20will%20not%20run%20on%20your%20phone.%20Looking%20at%20the%20cards%20above%2C%20what%20is%20most%20often%20the%20reason%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20phone%20is%20not%20fast%20enough%20at%20doing%20the%20sums%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20model%20is%20simply%20too%20big%20to%20fit%20in%20the%20memory%20the%20phone%20gives%20an%20app%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20phone%20is%20not%20accurate%20enough%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20model%20was%20trained%20on%20the%20wrong%20kind%20of%20hardware%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%22%3A%20(%22Sometimes%2C%20but%20it%20is%20rarely%20what%20stops%20you%20first.%20Look%20at%20how%20many%20red%20cards%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22said%20'will%20not%20fit'%20rather%20than%20'too%20slow'.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b%22%3A%20(%22Space%20runs%20out%20before%20speed%20does%2C%20almost%20every%20time.%20That%20is%20why%20so%20much%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22this%20course%20is%20about%20making%20models%20smaller%20rather%20than%20machines%20faster.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22c%22%3A%20(%22Accuracy%20belongs%20to%20the%20model%2C%20not%20the%20phone.%20The%20same%20model%20gives%20the%20same%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20wherever%20it%20manages%20to%20run.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22d%22%3A%20(%22Where%20a%20model%20was%20trained%20has%20no%20bearing%20on%20whether%20it%20fits%20somewhere%20later.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Training%20happens%20once%2C%20in%20a%20data%20centre%2C%20on%20hardware%20nobody%20deploys%20to.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q2%22%2C%0A%20%20%20%20)%0A%20%20%20%20q2%0A%20%20%20%20return%20q2%2C%20q2_render%2C%20q2_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q2%2C%20q2_render)%3A%0A%20%20%20%20q2_render(q2.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%203%3A%20What%20to%20do%20when%20it%20does%20not%20fit%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20You%20will%20have%20found%20sizes%20where%20some%20of%20the%20cards%20go%20red.%20That%20happens%20constantly%20in%20real%0A%20%20%20%20work%2C%20and%20the%20machine%20is%20usually%20not%20something%20you%20get%20to%20change.%20It%20is%20the%20camera%20already%0A%20%20%20%20screwed%20to%20the%20wall%2C%20or%20the%20phone%20your%20users%20already%20own.%0A%0A%20%20%20%20So%20the%20model%20has%20to%20get%20smaller.%20And%20there%20is%20a%20way%20to%20do%20that%20which%20does%20not%20touch%20the%0A%20%20%20%20model's%20design%20at%20all.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%23%20Storing%20the%20same%20number%20in%20less%20space%0A%0A%20%20%20%20Remember%20the%20sum%20from%20Part%202%3A%20size%20is%20the%20count%20of%20numbers%20times%20four%20bytes%20each.%0A%0A%20%20%20%20There%20are%20two%20ways%20to%20make%20that%20smaller%2C%20and%20only%20one%20of%20them%20is%20easy.%20You%20could%20use%20fewer%0A%20%20%20%20numbers%2C%20which%20means%20designing%20a%20different%20model%20and%20retraining%20it.%20Or%20you%20could%20**keep%0A%20%20%20%20every%20number%20and%20store%20each%20one%20in%20less%20space**.%0A%0A%20%20%20%20Four%20bytes%20is%20simply%20the%20default.%20It%20holds%20a%20number%20to%20far%20more%20decimal%20places%20than%20most%0A%20%20%20%20models%20need.%20Round%20each%20one%20off%20a%20little%20and%20it%20fits%20in%20**two%20bytes**.%20Round%20harder%20and%20it%0A%20%20%20%20fits%20in%20**one**.%0A%0A%20%20%20%20The%20list%20stays%20exactly%20as%20long.%20Nothing%20is%20deleted.%20But%20the%20whole%20thing%20halves%2C%20then%20halves%0A%20%20%20%20again.%20Go%20back%20to%20the%20slider%20in%20Part%202%20and%20switch%20between%20the%20three%20settings.%0A%0A%20%20%20%20%7C%20How%20each%20number%20is%20stored%20%7C%20A%20110%20million%20number%20model%20%7C%20What%20it%20costs%20you%20%7C%0A%20%20%20%20%7C%20-%20%7C%20-%20%7C%20-%20%7C%0A%20%20%20%20%7C%204%20bytes%2C%20full%20precision%20%7C%20440%20MB%20%7C%20nothing%2C%20this%20is%20the%20original%20%7C%0A%20%20%20%20%7C%202%20bytes%2C%20half%20%7C%20220%20MB%20%7C%20usually%20almost%20no%20accuracy%20%7C%0A%20%20%20%20%7C%201%20byte%2C%20quantised%20%7C%20110%20MB%20%7C%20a%20little%20accuracy%2C%20sometimes%20none%20%7C%0A%0A%20%20%20%20This%20is%20called%20**quantisation**%2C%20and%20it%20is%20the%20first%20thing%20anyone%20reaches%20for.%20It%20is%20close%0A%20%20%20%20to%20free%20at%202%20bytes.%20At%201%20byte%20you%20start%20paying%2C%20and%20how%20much%20you%20pay%20depends%20on%20the%20model%0A%20%20%20%20and%20on%20what%20it%20is%20being%20asked%20to%20do.%0A%0A%20%20%20%20It%20is%20also%20not%20unlimited.%20Four%20times%20smaller%20is%20roughly%20where%20this%20particular%20trick%20runs%0A%20%20%20%20out%2C%20and%20a%207%20billion%20number%20model%20that%20needs%2027%20GB%20is%20still%206.8%20GB%20after%20it.%20Real%0A%20%20%20%20deployments%20stack%20other%20techniques%20on%20top%2C%20which%20is%20what%20several%20later%20weeks%20are%20about.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EWorth%20knowing%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22A%20GPT-4%20class%20model%20is%20about%201.8%20trillion%20numbers.%20Even%20at%20two%20bytes%20each%20that%20is%0A%20%20%20%20%20%20%20%20%20%20roughly%203.6%20terabytes.%20A%20phone%20has%20about%208%20gigabytes.%20That%20is%20a%20gap%20of%20some%20450%0A%20%20%20%20%20%20%20%20%20%20times%2C%20and%20no%20amount%20of%20rounding%20closes%20it.%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q3%2C%20q3_render%2C%20q3_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20You%20halve%20the%20space%20each%20number%20takes.%20What%20happens%20to%20the%20model%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20has%20half%20as%20many%20numbers%20in%20it%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20keeps%20every%20number%2C%20but%20each%20is%20stored%20less%20precisely%2C%20so%20the%20whole%20thing%20is%20half%20the%20size%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20runs%20twice%20as%20fast%20but%20stays%20the%20same%20size%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20has%20to%20be%20retrained%20from%20scratch%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%22%3A%20(%22Nothing%20is%20removed.%20Every%20number%20is%20still%20there%2C%20which%20is%20why%20the%20model%20still%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22behaves%20in%20almost%20the%20same%20way.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b%22%3A%20(%22The%20list%20is%20the%20same%20length%3B%20each%20entry%20is%20just%20kept%20more%20roughly.%20Half%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22space%2C%20and%20usually%20very%20little%20accuracy%20lost%20at%20two%20bytes.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22c%22%3A%20(%22It%20usually%20does%20speed%20things%20up%20too%2C%20because%20there%20is%20less%20to%20fetch.%20But%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22main%20thing%20it%20changes%20is%20size%2C%20and%20size%20is%20what%20decides%20whether%20it%20fits%20at%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22all.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22d%22%3A%20(%22Usually%20not.%20It%20is%20normally%20applied%20to%20a%20model%20that%20has%20already%20been%20trained%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22which%20is%20a%20large%20part%20of%20why%20it%20is%20the%20first%20thing%20people%20try.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q3%22%2C%0A%20%20%20%20)%0A%20%20%20%20q3%0A%20%20%20%20return%20q3%2C%20q3_render%2C%20q3_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q3%2C%20q3_render)%3A%0A%20%20%20%20q3_render(q3.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%204%3A%20Fitting%20is%20not%20the%20same%20as%20being%20fast%20enough%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20That%20was%20the%20first%20question%20settled.%20The%20model%20fits.%20Now%20the%20second%20one%2C%20which%20is%20the%0A%20%20%20%20harder%20half%3A%20somebody%20has%20asked%20it%20something%2C%20and%20they%20are%20waiting.%20How%20long%20do%20they%20wait%3F%0A%0A%20%20%20%20Here%20is%20the%20part%20people%20skip.%20To%20produce%20one%20single%20answer%2C%20the%20computer%20has%20to%20**read%20every%0A%20%20%20%20number%20in%20the%20model**.%20All%20of%20them.%20It%20cannot%20use%20some%20and%20ignore%20the%20rest%2C%20because%20they%20all%0A%20%20%20%20contribute%20to%20the%20answer.%0A%0A%20%20%20%20So%20reading%20is%20not%20free%2C%20and%20on%20a%20big%20model%20it%20is%20not%20quick%20either.%0A%0A%20%20%20%20A%20useful%20way%20to%20picture%20the%20whole%20thing%20is%20making%20a%20sandwich.%20You%20walk%20to%20the%20fridge%20and%20get%0A%20%20%20%20the%20things%20out.%20You%20make%20the%20sandwich.%20And%20there%20is%20a%20little%20faff%20around%20it%2C%20washing%20your%0A%20%20%20%20hands%2C%20finding%20a%20plate.%20Three%20steps%2C%20and%20the%20time%20is%20all%20three%20added%20up.%0A%0A%20%20%20%20A%20computer%20answering%20a%20question%20does%20exactly%20those%20three.%0A%0A%20%20%20%20**It%20fetches.**%20It%20pulls%20the%20model's%20numbers%20out%20of%20memory.%20Memory%20is%20the%20fridge%2C%20and%20the%0A%20%20%20%20walk%20is%20not%20instant.%0A%0A%20%20%20%20**It%20does%20the%20sums.**%20Multiplying%20and%20adding%2C%20millions%20of%20times%20over.%20This%20is%20the%20bit%0A%20%20%20%20everyone%20pictures%20when%20they%20imagine%20a%20computer%20working%2C%20and%20it%20is%20often%20not%20the%20slow%20bit.%0A%0A%20%20%20%20**And%20there%20is%20a%20little%20setup.**%20Starting%20the%20job%20off%2C%20waiting%20for%20parts%20of%20it%20to%20line%20up.%0A%20%20%20%20Usually%20a%20few%20milliseconds.%0A%0A%20%20%20%20%3E%20**time%20%3D%20fetching%20%2B%20doing%20the%20sums%20%2B%20setup**%0A%0A%20%20%20%20Now%2C%20why%20does%20anyone%20bother%20writing%20that%20down%3F%0A%0A%20%20%20%20Because%20of%20this.%20Suppose%20fetching%20takes%20ten%20seconds%20and%20the%20sums%20take%20one.%20You%20go%20out%20and%0A%20%20%20%20buy%20a%20computer%20that%20does%20sums%20twice%20as%20fast.%20What%20actually%20improves%3F%20Almost%20nothing.%20You%0A%20%20%20%20still%20spend%20ten%20seconds%20walking%20to%20the%20fridge.%0A%0A%20%20%20%20**So%20before%20spending%20anything%20on%20making%20something%20faster%2C%20work%20out%20which%20of%20the%20three%20you%0A%20%20%20%20are%20stuck%20on.**%20The%20next%20part%20is%20you%20doing%20that.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cp%20style%3D%22color%3A%233a3a3a%3B%20line-height%3A1.7%3B%22%3E%3Cstrong%3EWorking%20out%20each%20one.%3C%2Fstrong%3E%0A%20%20%20%20%20%20%20%20Both%20of%20the%20first%20two%20are%20the%20same%20kind%20of%20sum%20you%20already%20know%3A%20how%20much%2C%20divided%20by%20how%0A%20%20%20%20%20%20%20%20fast.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3Cul%20style%3D%22color%3A%233a3a3a%3B%20line-height%3A1.75%3B%20font-size%3A1rem%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cli%3E%3Cstrong%3EFetching.%3C%2Fstrong%3E%20How%20many%20bytes%2C%20divided%20by%20how%20many%20bytes%20a%20second%20the%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20machine%20can%20pull%20from%20memory.%2040%20megabytes%20at%20100%20megabytes%20a%20second%20is%200.4%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20seconds.%20Exactly%20like%2040%20miles%20at%20100%20miles%20an%20hour.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cli%3E%3Cstrong%3EThe%20sums.%3C%2Fstrong%3E%20How%20many%20operations%2C%20divided%20by%20how%20many%20the%20machine%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20does%20per%20second.%20One%20warning%3A%20no%20chip%20ever%20runs%20at%20the%20speed%20printed%20on%20the%20box.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20If%20yours%20manages%2060%20per%20cent%20of%20it%2C%20use%2060%20per%20cent.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cli%3E%3Cstrong%3ESetup.%3C%2Fstrong%3E%20Just%20a%20number%20someone%20measured.%20A%20few%20milliseconds.%3C%2Fli%3E%0A%20%20%20%20%20%20%20%20%3C%2Ful%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EOne%20check%20that%20catches%20most%20mistakes%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22All%20three%20have%20to%20come%20out%20in%20seconds.%20If%20yours%20do%20not%2C%20something%20has%20gone%20wrong%0A%20%20%20%20%20%20%20%20%20%20before%20you%20got%20to%20the%20answer.%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%205%3A%20Working%20out%20which%20of%20the%20three%20is%20the%20slow%20one%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20is%20a%20request%20arriving%20at%20a%20service%2C%20with%20all%20three%20numbers%20worked%20out%20for%20you%20as%20you%0A%20%20%20%20change%20them.%0A%0A%20%20%20%20About%20the%20machine%3A%20it%20pulls%20**100%20megabytes%20a%20second**%20out%20of%20memory%2C%20and%20every%20request%0A%20%20%20%20carries%20a%20fixed%20**5%20milliseconds**%20of%20setup%20however%20small%20the%20job%20is.%0A%0A%20%20%20%20The%20three%20sliders%20describe%20the%20job%20you%20hand%20it.%20The%20first%20two%20are%20the%20sums%20from%20before%2C%20both%0A%20%20%20%20of%20them%20just%20*how%20much%2C%20divided%20by%20how%20fast*.%20Move%20them%20and%20watch%20where%20the%20time%20goes.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20bytes_mb%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%205%2C%20200%2C%20value%3Dsaved.get(%22bytes_mb%22%2C%2040)%2C%20step%3D5%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20much%20it%20has%20to%20fetch%20(megabytes)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20ops_gf%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200.5%2C%2020.0%2C%20value%3Dsaved.get(%22ops_gf%22%2C%202.0)%2C%20step%3D0.5%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20many%20sums%20it%20has%20to%20do%20(billions)%22%2C%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20machine_gf%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%204%2C%2048%2C%20value%3Dsaved.get(%22machine_gf%22%2C%2012)%2C%20step%3D2%2C%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20many%20sums%20the%20machine%20really%20manages%20per%20second%20(billions)%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5Bbytes_mb%2C%20ops_gf%2C%20machine_gf%5D)%0A%20%20%20%20return%20bytes_mb%2C%20machine_gf%2C%20ops_gf%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(bytes_mb%2C%20machine_gf%2C%20ops_gf)%3A%0A%20%20%20%20BANDWIDTH_MBPS%20%3D%20100.0%0A%20%20%20%20OVERHEAD_MS%20%3D%205.0%0A%0A%20%20%20%20t_data%20%3D%20float(bytes_mb.value)%20%2F%20BANDWIDTH_MBPS%20*%201000.0%0A%20%20%20%20t_compute%20%3D%20float(ops_gf.value)%20%2F%20float(machine_gf.value)%20*%201000.0%0A%20%20%20%20t_over%20%3D%20OVERHEAD_MS%0A%20%20%20%20t_total%20%3D%20t_data%20%2B%20t_compute%20%2B%20t_over%0A%0A%20%20%20%20terms%20%3D%20%5B%0A%20%20%20%20%20%20%20%20(%22Fetching%22%2C%20t_data%2C%20f%22%7Bbytes_mb.value%3Ag%7D%20MB%20to%20fetch%2C%20at%20%7BBANDWIDTH_MBPS%3Ag%7D%20MB%20a%20second%22)%2C%0A%20%20%20%20%20%20%20%20(%22Doing%20the%20sums%22%2C%20t_compute%2C%0A%20%20%20%20%20%20%20%20%20f%22%7Bops_gf.value%3Ag%7D%20billion%20sums%2C%20at%20%7Bmachine_gf.value%3Ag%7D%20billion%20a%20second%22)%2C%0A%20%20%20%20%20%20%20%20(%22Setup%22%2C%20t_over%2C%20%22the%20same%20every%20time%22)%2C%0A%20%20%20%20%5D%0A%20%20%20%20biggest%20%3D%20max(terms%2C%20key%3Dlambda%20x%3A%20x%5B1%5D)%5B0%5D%0A%0A%20%20%20%20%23%20What%20a%20machine%20twice%20as%20fast%20would%20actually%20buy%20you.%0A%20%20%20%20t_total_2x%20%3D%20t_data%20%2B%20(t_compute%20%2F%202.0)%20%2B%20t_over%0A%20%20%20%20saved_pct%20%3D%20(t_total%20-%20t_total_2x)%20%2F%20t_total%20*%20100.0%0A%20%20%20%20return%20biggest%2C%20saved_pct%2C%20t_total%2C%20t_total_2x%2C%20terms%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20biggest%2C%20mo%2C%20t_total%2C%20terms)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_widest%20%3D%20max(t%5B1%5D%20for%20t%20in%20terms)%20or%201.0%0A%20%20%20%20_rows%20%3D%20%22%22%0A%20%20%20%20for%20_label%2C%20_ms%2C%20_detail%20in%20terms%3A%0A%20%20%20%20%20%20%20%20_pct%20%3D%20_ms%20%2F%20_widest%20*%20100.0%0A%20%20%20%20%20%20%20%20_win%20%3D%20%22%20win%22%20if%20_label%20%3D%3D%20biggest%20else%20%22%22%0A%20%20%20%20%20%20%20%20_rows%20%2B%3D%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-bar%7B_win%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22t%22%3E%7B_label%7D%3Cbr%3E%3Cspan%20style%3D%22color%3A%238a8a8a%3Bfont-size%3A.78rem%22%3E%7B_detail%7D%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22track%22%3E%3Cspan%20class%3D%22fill%22%20style%3D%22width%3A%7B_pct%3A.1f%7D%25%22%3E%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7B_ms%3A.0f%7D%20ms%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-bars%22%3E%7B_rows%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-total%22%3E%3Cspan%3EHow%20long%20that%20person%20waits%3C%2Fspan%3E%3Cb%3E%7Bt_total%3A.0f%7D%20ms%3C%2Fb%3E%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(biggest%2C%20mo%2C%20saved_pct%2C%20t_total%2C%20t_total_2x)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(f%22**%7Bbiggest%7D**%20is%20the%20biggest%20of%20the%20three.%20That%20is%20the%20one%20holding%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22you%20up%2C%20and%20the%20only%20one%20worth%20paying%20to%20fix.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22Say%20you%20buy%20a%20machine%20that%20does%20sums%20**twice%20as%20fast**.%20The%20wait%20goes%20from%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bt_total%3A.0f%7D%20ms**%20down%20to%20**%7Bt_total_2x%3A.0f%7D%20ms**.%20You%20paid%20twice%20as%20much%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22and%20got%20**%7Bsaved_pct%3A.0f%7D%20per%20cent**.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20to%20take%20from%20that%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20Where%20the%20sliders%20started%2C%20the%20three%20numbers%20were%20**400**%2C%20**167**%20and%20**5**%20milliseconds.%0A%0A%20%20%20%20Fetching%20took%20more%20than%20twice%20as%20long%20as%20the%20sums.%20So%20for%20most%20of%20that%20request%2C%20the%20computer%20had%0A%20%20%20%20already%20finished%20its%20maths%20and%20was%20sitting%20there%20waiting%20for%20data%20to%20arrive.%20Back%20at%20the%20fridge.%0A%0A%20%20%20%20Now%20look%20at%20what%20the%20upgrades%20buy%20you.%0A%0A%20%20%20%20-%20A%20processor%20**twice%20as%20fast**%20cuts%20167%20down%20to%2083.%20You%20save%2084%20ms%20out%20of%20572.%20About%20**15%20per%0A%20%20%20%20%20%20cent**.%0A%20%20%20%20-%20Memory%20**twice%20as%20fast**%20cuts%20400%20down%20to%20200.%20You%20save%20200%20ms%20out%20of%20572.%20About%20**35%20per%0A%20%20%20%20%20%20cent**.%0A%0A%20%20%20%20Same%20money.%20One%20of%20them%20is%20more%20than%20twice%20as%20good%2C%20and%20it%20is%20not%20the%20one%20most%20people%20reach%20for.%0A%0A%20%20%20%20**So%3A%20find%20the%20biggest%20of%20the%20three%20before%20you%20spend%20anything.**%20That%20is%20really%20all%20this%20is%20for.%0A%0A%20%20%20%20Try%20dragging%20the%20sums%20slider%20up%20to%2020%20billion.%20Now%20the%20sums%20are%20the%20big%20number%2C%20and%20the%20fast%0A%20%20%20%20processor%20becomes%20the%20right%20buy.%20Neither%20component%20is%20better%20than%20the%20other.%20It%20depends%20entirely%0A%20%20%20%20on%20the%20job%20you%20are%20giving%20it.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q4%2C%20q4_render%2C%20q4_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20Your%20request%20spends%20400%20ms%20moving%20bytes%20and%20167%20ms%20computing.%20Your%20budget%20buys%20one%20upgrade.%20Which%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22A%20processor%20twice%20as%20fast%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Memory%20twice%20as%20fast%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Both%2C%20split%20evenly%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Neither%3A%20reduce%20the%20overhead%20instead%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%22%3A%20(%22This%20is%20the%20reflex%2C%20and%20it%20buys%20about%2015%20per%20cent.%20You%20would%20be%20paying%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22speed%20up%20the%20part%20that%20was%20already%20waiting%20around.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b%22%3A%20(%22Halving%20the%20400%20ms%20term%20takes%20200%20ms%20off%20a%20572%20ms%20request%2C%20roughly%2035%20per%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cent.%20Three%20times%20the%20improvement%2C%20for%20the%20same%20money.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22c%22%3A%20(%22Splitting%20a%20budget%20across%20both%20gets%20you%20less%20than%20putting%20all%20of%20it%20on%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22term%20that%20dominates.%20Diagnose%20first%2C%20then%20spend.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22d%22%3A%20(%22The%20overhead%20is%205%20ms%20of%20572.%20Even%20removing%20it%20entirely%20is%20under%20one%20per%20cent.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q4%22%2C%0A%20%20%20%20)%0A%20%20%20%20q4%0A%20%20%20%20return%20q4%2C%20q4_render%2C%20q4_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q4%2C%20q4_render)%3A%0A%20%20%20%20q4_render(q4.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%206%3A%20The%20slow%20step%20can%20change%2C%20without%20you%20changing%20the%20model%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20You%20can%20now%20find%20the%20slow%20step.%20The%20last%20thing%20to%20know%20is%20that%20the%20answer%20is%20not%20fixed.%20It%0A%20%20%20%20moves%2C%20and%20you%20are%20the%20one%20who%20moves%20it.%0A%0A%20%20%20%20Back%20to%20the%20sandwiches.%0A%0A%20%20%20%20Making%20one%20sandwich%3A%20you%20walk%20to%20the%20fridge%2C%20get%20everything%20out%2C%20make%20it%2C%20put%20it%20back.%20Most%0A%20%20%20%20of%20your%20time%20went%20on%20walking.%0A%0A%20%20%20%20Making%20eight%3A%20you%20still%20walk%20to%20the%20fridge%20**once**.%20That%20walk%20is%20now%20shared%20between%20all%0A%20%20%20%20eight%2C%20so%20per%20sandwich%20it%20hardly%20counts.%20What%20takes%20the%20time%20now%20is%20buttering%20and%20cutting%2C%0A%20%20%20%20and%20you%20have%20to%20do%20that%20eight%20times%20over.%0A%0A%20%20%20%20**Same%20fridge%2C%20same%20walk%2C%20same%20sandwich.%20Different%20answer%20about%20what%20is%20slowing%20you%20down.**%0A%0A%20%20%20%20Computers%20do%20precisely%20this%2C%20and%20it%20is%20why%20%22that%20model%20is%20slow%20because%20of%20memory%22%20is%20not%20a%0A%20%20%20%20fact%20you%20can%20look%20up%20anywhere.%0A%0A%20%20%20%20To%20see%20it%2C%20there%20is%20one%20detail%20Part%202%20left%20out.%20A%20model%20does%20not%20only%20need%20room%20for%20its%20own%0A%20%20%20%20numbers.%20While%20it%20runs%20it%20also%20scribbles%20down%20working-out%20at%20each%20step%2C%20the%20way%20you%20would%20on%0A%20%20%20%20paper%2C%20then%20throws%20it%20away.%20For%20ResNet-50%2C%20a%20common%20image%20model%3A%0A%0A%20%20%20%20-%20its%20own%20numbers%20come%20to%20about%20**97.5%20MB**%2C%20and%20those%20are%20fetched%20**once**%2C%20no%20matter%20how%0A%20%20%20%20%20%20many%20images%20you%20send%20through%20together%0A%20%20%20%20-%20the%20working-out%20is%20about%20**20%20MB%20for%20every%20image**%2C%20so%20that%20part%20grows%0A%0A%20%20%20%20The%20sums%20come%20to%20about%20**7.7%20billion%20for%20every%20image**%2C%20so%20those%20grow%20too.%0A%0A%20%20%20%20Send%20eight%20images%20at%20once%20and%20you%20do%20eight%20times%20the%20sums.%20But%20you%20do%20not%20fetch%20eight%20times%0A%20%20%20%20the%20bytes%2C%20because%20the%2097.5%20MB%20was%20fetched%20once%20and%20shared%20between%20them.%20That%20is%20the%20walk%20to%0A%20%20%20%20the%20fridge%2C%20and%20it%20is%20what%20shifts%20the%20balance.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20batch%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20steps%3D%5B1%2C%202%2C%203%2C%204%2C%208%2C%2016%2C%2032%2C%2064%5D%2C%0A%20%20%20%20%20%20%20%20value%3Dsaved.get(%22batch%22%2C%201)%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20label%3D%22How%20many%20images%20you%20send%20at%20once%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20batch%0A%20%20%20%20return%20(batch%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(batch)%3A%0A%20%20%20%20WEIGHTS_MB%20%3D%2097.5%0A%20%20%20%20ACT_MB%20%3D%2020.0%0A%20%20%20%20FLOPS_PER_IMAGE%20%3D%207.7e9%0A%20%20%20%20MACHINE_DEMANDS%20%3D%20153.0%20%20%20%20%20%23%20what%20this%20accelerator%20needs%20per%20byte%20to%20stay%20busy%0A%0A%20%20%20%20b%20%3D%20int(batch.value)%0A%20%20%20%20fetched_mb%20%3D%20WEIGHTS_MB%20%2B%20ACT_MB%20*%20b%0A%20%20%20%20ops%20%3D%20FLOPS_PER_IMAGE%20*%20b%0A%20%20%20%20supplied%20%3D%20ops%20%2F%20(fetched_mb%20*%201e6)%20%20%20%20%20%20%20%20%20%20%23%20sums%20the%20job%20offers%20per%20byte%20fetched%0A%20%20%20%20ceiling%20%3D%20FLOPS_PER_IMAGE%20%2F%20(ACT_MB%20*%201e6)%20%20%23%20where%20it%20flattens%20out%2C%20however%20big%20the%20batch%0A%20%20%20%20compute_bound%20%3D%20supplied%20%3E%20MACHINE_DEMANDS%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20MACHINE_DEMANDS%2C%0A%20%20%20%20%20%20%20%20b%2C%0A%20%20%20%20%20%20%20%20ceiling%2C%0A%20%20%20%20%20%20%20%20compute_bound%2C%0A%20%20%20%20%20%20%20%20fetched_mb%2C%0A%20%20%20%20%20%20%20%20ops%2C%0A%20%20%20%20%20%20%20%20supplied%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(LAB_CSS%2C%20MACHINE_DEMANDS%2C%20compute_bound%2C%20fetched_mb%2C%20mo%2C%20ops%2C%20supplied)%3A%0A%20%20%20%20_%20%3D%20LAB_CSS%0A%20%20%20%20_scale%20%3D%20max(supplied%2C%20MACHINE_DEMANDS)%20*%201.1%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-bars%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-bar%7B'%20win'%20if%20compute_bound%20else%20''%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22t%22%3ESums%20the%20job%20offers%3Cbr%3E%3Cspan%20style%3D%22color%3A%238a8a8a%3Bfont-size%3A.78rem%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%7Bops%20%2F%201e9%3A.1f%7D%20billion%20sums%20for%20every%20%7Bfetched_mb%3A.0f%7D%20MB%20fetched%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22track%22%3E%3Cspan%20class%3D%22fill%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20style%3D%22width%3A%7Bsupplied%20%2F%20_scale%20*%20100%3A.1f%7D%25%22%3E%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7Bsupplied%3A.0f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-bar%7B''%20if%20compute_bound%20else%20'%20win'%7D%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22t%22%3ESums%20the%20machine%20wants%3Cbr%3E%3Cspan%20style%3D%22color%3A%238a8a8a%3Bfont-size%3A.78rem%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20to%20avoid%20sitting%20idle%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22track%22%3E%3Cspan%20class%3D%22fill%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20style%3D%22width%3A%7BMACHINE_DEMANDS%20%2F%20_scale%20*%20100%3A.1f%7D%25%22%3E%3C%2Fspan%3E%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22n%22%3E%7BMACHINE_DEMANDS%3A.0f%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cp%20style%3D%22color%3A%236f6f6f%3Bfont-size%3A.85rem%3Bmargin%3A2px%200%200%22%3EBoth%20bars%20count%20sums%20per%20byte%0A%20%20%20%20%20%20%20%20fetched.%20If%20the%20job%20offers%20fewer%20than%20the%20machine%20wants%2C%20the%20machine%20finishes%20early%20and%0A%20%20%20%20%20%20%20%20waits%20around.%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(b%2C%20compute_bound%2C%20mo%2C%20supplied)%3A%0A%20%20%20%20if%20compute_bound%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22With%20%7Bb%7D%20image%7B's'%20if%20b%20%3E%201%20else%20''%7D%20at%20a%20time%2C%20the%20job%20hands%20over%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bsupplied%3A.0f%7D%20sums%20for%20every%20byte%20fetched.%20The%20machine%20only%20wanted%20153%2C%20so%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22it%20has%20plenty%20to%20get%20on%20with.%20**Now%20the%20sums%20are%20what%20take%20the%20time.**%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22success%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%20%3D%20(f%22With%20%7Bb%7D%20image%7B's'%20if%20b%20%3E%201%20else%20''%7D%20at%20a%20time%2C%20the%20job%20only%20hands%20over%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%7Bsupplied%3A.0f%7D%20sums%20for%20every%20byte%20fetched%2C%20and%20the%20machine%20wanted%20153.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**It%20finishes%20early%20and%20waits.**%20Most%20of%20the%20time%20goes%20on%20fetching.%22)%0A%20%20%20%20%20%20%20%20_kind%20%3D%20%22warn%22%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ceiling%2C%20mo)%3A%0A%20%20%20%20mo.accordion(%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22What%20just%20happened%22%3A%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20First%2C%20what%20the%20two%20numbers%20on%20the%20bars%20mean.%0A%0A%20%20%20%20The%20top%20one%20belongs%20to%20the%20job%3A%20how%20many%20sums%20it%20hands%20over%20for%20every%20byte%20fetched.%20Send%20more%0A%20%20%20%20images%20at%20once%20and%20this%20number%20changes.%0A%0A%20%20%20%20The%20bottom%20one%20belongs%20to%20the%20machine%3A%20how%20many%20sums%20it%20can%20get%20through%20for%20every%20byte%20it%20can%0A%20%20%20%20fetch.%20For%20this%20one%20that%20is%20**153**%2C%20and%20it%20never%20changes.%0A%0A%20%20%20%20Compare%20the%20two%20and%20you%20have%20your%20answer.%20If%20the%20job%20offers%20fewer%20sums%20per%20byte%20than%20the%20machine%0A%20%20%20%20wants%2C%20the%20machine%20finishes%20early%20and%20waits.%20If%20it%20offers%20more%2C%20the%20machine%20is%20what%20is%20holding%0A%20%20%20%20you%20up.%0A%0A%20%20%20%20Now%20watch%20what%20happened.%0A%0A%20%20%20%20**One%20image.**%20The%20job%20offers%2066%20sums%20per%20byte.%20The%20machine%20wanted%20153.%20It%20is%20bored.%20Most%20of%20the%0A%20%20%20%20time%20goes%20on%20fetching.%0A%0A%20%20%20%20**Four%20images.**%20They%20cross%20over.%0A%0A%20%20%20%20**Eight%20images.**%20The%20job%20now%20offers%20239.%20The%20machine%20has%20plenty%20to%20do%2C%20and%20the%20sums%20become%20the%0A%20%20%20%20slow%20part.%0A%0A%20%20%20%20Nothing%20about%20the%20model%20changed.%20Same%20numbers%20inside%20it%2C%20same%20card%20underneath%20it.%20**All%20you%0A%20%20%20%20changed%20was%20how%20many%20images%20you%20sent%20at%20once.**%20So%20if%20someone%20asks%20you%20whether%20ResNet-50%20is%0A%20%20%20%20limited%20by%20memory%20or%20by%20computing%2C%20the%20honest%20answer%20is%20%22it%20depends%20how%20you%20run%20it%22%2C%20and%20how%20you%0A%20%20%20%20run%20it%20is%20your%20choice.%0A%0A%20%20%20%20**It%20does%20stop%20helping%2C%20though.**%20Push%20the%20slider%20to%2064%20and%20the%20number%20barely%20moves.%20The%20highest%0A%20%20%20%20it%20can%20ever%20go%20is%20about%20**%7Bceiling%3A.0f%7D**.%20Once%20the%20working-out%20is%20much%20bigger%20than%20the%20model's%0A%20%20%20%20own%20numbers%2C%20there%20is%20no%20fridge%20trip%20left%20to%20share%20out.%20That%20limit%20comes%20from%20how%20the%20model%20is%0A%20%20%20%20built%2C%20and%20no%20batch%20size%20gets%20past%20it.%0A%0A%20%20%20%20So%20why%20do%20people%20run%20512%20images%20at%20once%3F%20Not%20for%20this.%20That%20was%20settled%20by%20about%20four.%20They%20do%0A%20%20%20%20it%20to%20stop%20the%20machine%20sitting%20idle%20between%20jobs%2C%20which%20is%20the%20throughput%20problem%20from%20Week%201.%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(ask)%3A%0A%20%20%20%20q5%2C%20q5_render%2C%20q5_sum%20%3D%20ask(%0A%20%20%20%20%20%20%20%20%22**Quick%20check.**%20Is%20ResNet-50%20compute-bound%20or%20memory-bound%3F%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Compute-bound%2C%20it%20is%20a%20convolutional%20network%22%3A%20%22a%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Memory-bound%2C%20it%20has%20to%20read%20all%20its%20weights%22%3A%20%22b%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20question%20is%20malformed%3A%20it%20depends%20on%20the%20batch%20size%20and%20the%20machine%22%3A%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22It%20depends%20only%20on%20which%20machine%20you%20run%20it%20on%22%3A%20%22d%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%22c%22%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%22%3A%20(%22You%20just%20watched%20it%20be%20memory-bound%20at%20one%20image.%20The%20architecture%20does%20not%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22decide%20this%20on%20its%20own.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22b%22%3A%20(%22True%20at%20batch%201%2C%20false%20by%20batch%208.%20Same%20model%2C%20same%20card%2C%20only%20the%20batch%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22changed.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22c%22%3A%20(%22A%20model%20does%20not%20carry%20a%20regime%20around%20with%20it.%20It%20is%20bound%20by%20whichever%20term%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22is%20larger%20in%20the%20setup%20you%20are%20actually%20running%2C%20and%20batch%20size%20moves%20that.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22d%22%3A%20(%22The%20machine%20is%20half%20of%20it.%20The%20other%20half%20is%20how%20you%20feed%20it%2C%20which%20is%20why%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20batch%20slider%20changed%20the%20verdict%20without%20touching%20the%20hardware.%22)%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20key%3D%22q5%22%2C%0A%20%20%20%20)%0A%20%20%20%20q5%0A%20%20%20%20return%20q5%2C%20q5_render%2C%20q5_sum%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(q5%2C%20q5_render)%3A%0A%20%20%20%20q5_render(q5.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Part%207%3A%20Putting%20it%20to%20work%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-question%22%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22lbl%22%3EThe%20situation%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%3Cp%3E%22We%20are%20putting%20a%20camera%20on%20every%20door%20of%20the%20building.%20It%20should%20notice%20when%20a%0A%20%20%20%20%20%20%20%20%20%20parcel%20is%20left%20and%20tell%20someone.%20There%20are%20three%20hundred%20doors%2C%20the%20wifi%20is%0A%20%20%20%20%20%20%20%20%20%20unreliable%2C%20and%20the%20cameras%20run%20on%20batteries%20we%20would%20rather%20not%20change%20every%0A%20%20%20%20%20%20%20%20%20%20month.%22%3C%2Fp%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(locked%2C%20mo%2C%20pick%2C%20saved)%3A%0A%20%20%20%20_saved%20%3D%20saved.get(%22decision%22)%20or%20%7B%7D%0A%20%20%20%20_choices%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Send%20every%20frame%20to%20a%20data%20centre%20and%20do%20the%20work%20there%22%3A%20%22cloud%22%2C%0A%20%20%20%20%20%20%20%20%22Put%20a%20small%20server%20in%20the%20building%20and%20send%20frames%20to%20that%22%3A%20%22edge%22%2C%0A%20%20%20%20%20%20%20%20%22Run%20a%20small%20model%20on%20each%20camera%20and%20send%20only%20what%20it%20finds%22%3A%20%22device%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20decision_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%7Bchoice%7D%0A%0A%20%20%20%20%20%20%20%20%7Bwhy%7D%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20choice%3Dmo.ui.radio(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20options%3D_choices%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3Dpick(_choices%2C%20_saved.get(%22choice%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Where%20would%20you%20run%20it%3F**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20why%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22why%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22What%20made%20you%20pick%20that%2C%20and%20what%20would%20change%20your%20mind%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Why%3F**%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Submit%20my%20decision%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Choose%20one%20of%20the%20three.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20v%20or%20v.get(%22choice%22)%20is%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20your%20reasoning%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20not%20(v.get(%22why%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20decision_form%0A%20%20%20%20return%20(decision_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_form%2C%20mo%2C%20saved)%3A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20(decision_form.value%20or%20saved.get(%22decision%22))%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Pick%20an%20answer%2C%20say%20why%2C%20then%20press%20**Submit%20my%20decision**.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20decision_choice%20%3D%20(decision_form.value%20or%20saved.get(%22decision%22))%5B%22choice%22%5D%0A%20%20%20%20decision_why%20%3D%20(decision_form.value%20or%20saved.get(%22decision%22))%5B%22why%22%5D.strip()%0A%20%20%20%20return%20decision_choice%2C%20decision_why%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20mo)%3A%0A%20%20%20%20_notes%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22cloud%22%3A%20(%22Defensible%20if%20the%20wifi%20were%20good%2C%20and%20here%20it%20is%20not.%20Three%20hundred%20cameras%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sending%20video%20all%20day%20is%20a%20lot%20of%20bandwidth%2C%20and%20every%20dropped%20connection%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22a%20door%20that%20stops%20working.%20It%20also%20drains%20the%20batteries%20fastest%2C%20because%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sending%20data%20over%20a%20radio%20costs%20more%20energy%20than%20almost%20anything%20else%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22camera%20does.%22)%2C%0A%20%20%20%20%20%20%20%20%22edge%22%3A%20(%22A%20reasonable%20middle.%20The%20building's%20own%20network%20is%20more%20dependable%20than%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22internet%20connection%2C%20and%20one%20decent%20machine%20can%20serve%20all%20three%20hundred%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22doors.%20You%20still%20pay%20to%20send%20video%20from%20every%20camera%2C%20so%20the%20batteries%20still%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22suffer%2C%20and%20you%20now%20own%20a%20server%20that%20somebody%20has%20to%20look%20after.%22)%2C%0A%20%20%20%20%20%20%20%20%22device%22%3A%20(%22The%20usual%20answer%20for%20this%20shape%20of%20problem%2C%20and%20the%20batteries%20are%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reason.%20A%20camera%20that%20only%20wakes%20the%20radio%20when%20it%20has%20actually%20seen%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22something%20sends%20almost%20nothing.%20The%20cost%20is%20that%20the%20model%20has%20to%20be%20small%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22enough%20to%20fit%20on%20the%20camera%2C%20which%20as%20you%20saw%20is%20a%20hard%20limit%20and%20not%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22preference.%22)%2C%0A%20%20%20%20%7D%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20On%20your%20answer%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(_notes%5Bdecision_choice%5D)%2C%20kind%3D%22info%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22There%20is%20no%20single%20right%20answer%20here%2C%20which%20is%20deliberate.%20All%20three%20are%20used%20in%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22real%20buildings.%20What%20matters%20is%20whether%20you%20can%20say%20which%20limit%20pushed%20you%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22what%20would%20have%20to%20be%20true%20for%20you%20to%20choose%20differently.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(decision_choice%2C%20locked%2C%20mo%2C%20saved)%3A%0A%20%20%20%20_%20%3D%20decision_choice%0A%20%20%20%20_saved%20%3D%20saved.get(%22reflection%22)%20or%20%7B%7D%0A%20%20%20%20reflect_form%20%3D%20(%0A%20%20%20%20%20%20%20%20mo.md(%22%7Btakeaway%7D%22)%0A%20%20%20%20%20%20%20%20.batch(%0A%20%20%20%20%20%20%20%20%20%20%20%20takeaway%3Dmo.ui.text_area(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20value%3D_saved.get(%22takeaway%22%2C%20%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20placeholder%3D%22The%20thing%20that%20would%20stop%20me%20first%20is...%20because...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22**Last%20one.**%20For%20the%20option%20you%20chose%2C%20which%20runs%20out%20first%3A%20memory%2C%20time%2C%20or%20battery%3F%20Say%20why.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20rows%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.form(%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_disabled%3Dlocked%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20submit_button_label%3D%22Finish%20the%20lab%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20bordered%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20validate%3Dlambda%20v%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20None%20if%20v%20and%20(v.get(%22takeaway%22)%20or%20%22%22).strip()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22Write%20a%20sentence%20or%20two%2C%20then%20submit.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20reflect_form%0A%20%20%20%20return%20(reflect_form%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20reflect_form%2C%20saved)%3A%0A%20%20%20%20mo.stop(%0A%20%20%20%20%20%20%20%20not%20(reflect_form.value%20or%20saved.get(%22reflection%22))%2C%0A%20%20%20%20%20%20%20%20mo.callout(mo.md(%22Answer%20the%20last%20question%20to%20finish.%22)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20)%0A%20%20%20%20takeaway_text%20%3D%20(reflect_form.value%20or%20saved.get(%22reflection%22))%5B%22takeaway%22%5D.strip()%0A%20%20%20%20done%20%3D%20True%0A%20%20%20%20return%20done%2C%20takeaway_text%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20bytes_each%2C%0A%20%20%20%20decision_choice%2C%0A%20%20%20%20decision_why%2C%0A%20%20%20%20describe%2C%0A%20%20%20%20done%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20params_m%2C%0A%20%20%20%20q1%2C%0A%20%20%20%20q1_sum%2C%0A%20%20%20%20q2%2C%0A%20%20%20%20q2_sum%2C%0A%20%20%20%20q3%2C%0A%20%20%20%20q3_sum%2C%0A%20%20%20%20q4%2C%0A%20%20%20%20q4_sum%2C%0A%20%20%20%20q5%2C%0A%20%20%20%20q5_sum%2C%0A%20%20%20%20takeaway_text%2C%0A)%3A%0A%20%20%20%20_%20%3D%20done%0A%0A%20%20%20%20def%20_check(summary)%3A%0A%20%20%20%20%20%20%20%20text%2C%20ok%20%3D%20summary%0A%20%20%20%20%20%20%20%20if%20ok%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%22%3Cem%3Enot%20answered%3C%2Fem%3E%22%0A%20%20%20%20%20%20%20%20mark%20%3D%20'%3Cspan%20class%3D%22tick%22%3Eright%3C%2Fspan%3E'%20if%20ok%20else%20'%3Cspan%20class%3D%22cross%22%3Ewrong%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20return%20f%22%7Btext%7D%20(%7Bmark%7D)%22%0A%0A%20%20%20%20_where%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22cloud%22%3A%20%22A%20data%20centre%22%2C%0A%20%20%20%20%20%20%20%20%22edge%22%3A%20%22A%20server%20in%20the%20building%22%2C%0A%20%20%20%20%20%20%20%20%22device%22%3A%20%22On%20each%20camera%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Your%20Week%202%20report%22)%2C%0A%20%20%20%20%20%20%20%20mo.Html(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22w2-report%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EModel%20you%20left%20it%20on%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7Bparams_m%3Ag%7D%20million%20numbers%20at%20%7Bbytes_each%3Ag%7D%20bytes%20each%2C%20%7Bdescribe%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhere%20you%20would%20run%20it%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_where.get(decision_choice%2C%20decision_choice)%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhy%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Bdecision_why%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EWhat%20runs%20out%20first%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%20quote%22%3E%7Btakeaway_text%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%201%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q1_sum(q1.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%202%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q2_sum(q2.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%203%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q3_sum(q3.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%204%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q4_sum(q4.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20class%3D%22row%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22k%22%3EQuick%20check%205%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3Cspan%20class%3D%22v%22%3E%7B_check(q5_sum(q5.value))%7D%3C%2Fspan%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20lab_sync%2C%20locked%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20submit_button%20%3D%20mo.ui.run_button(%0A%20%20%20%20%20%20%20%20label%3D%22Submit%20my%20work%22%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%0A%20%20%20%20%20%20%20%20disabled%3Dlab_sync%20is%20None%20or%20locked%2C%0A%20%20%20%20%20%20%20%20tooltip%3D%22Send%20your%20answers%20to%20your%20instructor%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Submit%20your%20work%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Your%20answers%20have%20been%20saving%20as%20you%20went.%20When%20you%20are%20happy%20with%20them%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22press%20the%20button%20to%20hand%20the%20lab%20in.%20You%20can%20change%20answers%20and%20submit%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22again%20until%20your%20instructor%20locks%20the%20lab.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20submit_button%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(submit_button%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Aasync%20def%20_(%0A%20%20%20%20lab_status%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20locked%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20reflect_form%2C%0A%20%20%20%20saved%2C%0A%20%20%20%20submit_button%2C%0A)%3A%0A%20%20%20%20%23%20Runs%20when%20the%20button%20is%20pressed%2C%20and%20otherwise%20just%20says%20where%20things%20stand.%0A%20%20%20%20if%20lab_sync%20is%20None%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20copy%20of%20the%20lab%20is%20not%20connected%20to%20the%20course%20site%2C%20so%20it%20cannot%20be%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22submitted%20from%20here.%22%2C%20%22neutral%22)%0A%20%20%20%20elif%20submit_button.value%3A%0A%20%20%20%20%20%20%20%20_reply%20%3D%20await%20lab_sync.submit(%0A%20%20%20%20%20%20%20%20%20%20%20%20reflection%3Dreflect_form.value%20or%20saved.get(%22reflection%22)%2C%20finished%3DTrue)%0A%20%20%20%20%20%20%20%20if%20_reply.get(%22ok%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Submitted.**%20Your%20instructor%20can%20see%20your%20work.%22%2C%20%22success%22)%0A%20%20%20%20%20%20%20%20elif%20_reply.get(%22locked%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted.**%20Your%20instructor%20has%20locked%20this%20lab.%22%2C%20%22danger%22)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Not%20submitted%3A**%20%7B_reply.get('error'%2C%20'something%20went%20wrong')%7D.%20Your%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22answers%20are%20still%20saved.%20Press%20**Submit%20my%20work**%20to%20try%20again.%22%2C%20%22danger%22)%0A%20%20%20%20elif%20lab_sync.last_submitted%20or%20lab_status.get(%22submitted%22)%3A%0A%20%20%20%20%20%20%20%20_when%20%3D%20str(lab_sync.last_submitted%20or%20lab_status.get(%22submittedAt%22)%20or%20%22%22)%5B%3A10%5D%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Submitted%20on%20%7B_when%7D.**%20Changed%20something%20since%3F%20Press%20**Submit%20my%20work**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22again.%22%2C%20%22success%22)%0A%20%20%20%20elif%20locked%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22Your%20instructor%20has%20locked%20this%20lab%2C%20so%20it%20can%20no%20longer%20be%20submitted.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_msg%2C%20_kind%20%3D%20(%22**Not%20submitted%20yet.**%20Press%20**Submit%20my%20work**%20when%20you%20are%20done.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22warn%22)%0A%20%20%20%20mo.callout(mo.md(_msg)%2C%20kind%3D_kind)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(done%2C%20mo)%3A%0A%20%20%20%20_%20%3D%20done%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Check%20yourself%22)%2C%0A%20%20%20%20%20%20%20%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Someone%20says%20a%20model%20is%20'too%20big%20for%20the%20phone'.%20Too%20big%20for%20what%2C%20exactly%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22For%20the%20memory%20the%20phone%20is%20willing%20to%20give%20one%20app%2C%20which%20is%20a%20slice%20of%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20total%20rather%20than%20all%20of%20it.%20A%20model%20stores%20four%20bytes%20for%20every%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22number%20in%20it%2C%20so%20a%2025%20million%20number%20model%20occupies%20about%20100%20MB%20before%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22it%20has%20done%20anything%20at%20all.%20The%20phone%20in%20this%20lab%20allowed%201.5%20GB%2C%20which%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sounds%20generous%20until%20you%20try%20to%20put%20a%20language%20model%20in%20it.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20is%20a%20microcontroller%20expected%20to%20answer%20faster%20than%20a%20data%20centre%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Because%20it%20is%20usually%20attached%20to%20something%20happening%20in%20the%20real%20world%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22and%20it%20has%20nowhere%20to%20pass%20the%20work%20to.%20A%20doorbell%2C%20a%20motor%2C%20a%20hearing%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22aid.%20The%20data%20centre%20gets%20a%20longer%20budget%20precisely%20because%20a%20person%20is%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22waiting%20on%20a%20network%20connection%2C%20and%20a%20person%20will%20tolerate%20a%20few%20hundred%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22milliseconds.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22You%20need%20to%20run%20a%20model%20somewhere%20it%20does%20not%20fit.%20What%20are%20your%20options%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Make%20the%20model%20smaller%2C%20or%20move%20to%20a%20bigger%20machine.%20Those%20are%20genuinely%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20only%20two%2C%20and%20most%20of%20the%20second%20half%20of%20this%20course%20is%20about%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22first%20one%2C%20because%20the%20second%20is%20often%20not%20available%20to%20you.%20Making%20it%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22smaller%20has%20its%20own%20cost%2C%20which%20is%20usually%20accuracy%2C%20and%20deciding%20how%20much%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22of%20that%20to%20spend%20is%20an%20engineering%20judgement%20rather%20than%20a%20formula.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Why%20does%20sending%20data%20cost%20more%20battery%20than%20computing%20on%20the%20device%3F%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Radios%20are%20expensive.%20Pushing%20a%20signal%20out%20into%20the%20air%20takes%20far%20more%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22energy%20than%20moving%20numbers%20around%20inside%20a%20chip%2C%20and%20the%20further%20it%20has%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22reach%2C%20the%20worse%20it%20gets.%20This%20is%20why%20the%20camera%20answer%20in%20Part%203%20leans%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22towards%20doing%20the%20work%20on%20the%20device%3A%20not%20because%20the%20chip%20is%20good%2C%20but%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22because%20staying%20quiet%20is%20cheap.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%7D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20batch%2C%0A%20%20%20%20bytes_mb%2C%0A%20%20%20%20decision_form%2C%0A%20%20%20%20lab_sync%2C%0A%20%20%20%20machine_gf%2C%0A%20%20%20%20ops_gf%2C%0A%20%20%20%20precision%2C%0A%20%20%20%20q1%2C%0A%20%20%20%20q2%2C%0A%20%20%20%20q3%2C%0A%20%20%20%20q4%2C%0A%20%20%20%20q5%2C%0A%20%20%20%20size%2C%0A)%3A%0A%20%20%20%20%23%20Answers%20that%20are%20on%20the%20page%20from%20the%20start.%20A%20form's%20value%20is%20None%20until%0A%20%20%20%20%23%20it%20is%20submitted%20in%20this%20visit%2C%20so%20it%20is%20only%20recorded%20once%20it%20has%20one.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20lab_sync.record(q1%3Dq1.value%2C%20q2%3Dq2.value%2C%20q3%3Dq3.value%2C%20q4%3Dq4.value%2C%20q5%3Dq5.value%2C%20size%3Dsize.value%2C%20precision%3Dprecision.value%2C%20bytes_mb%3Dbytes_mb.value%2C%20ops_gf%3Dops_gf.value%2C%20machine_gf%3Dmachine_gf.value%2C%20batch%3Dbatch.value)%0A%20%20%20%20%20%20%20%20if%20decision_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(decision%3Ddecision_form.value)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(lab_sync%2C%20reflect_form)%3A%0A%20%20%20%20%23%20The%20last%20question%20only%20exists%20once%20the%20decision%20is%20in.%0A%20%20%20%20if%20lab_sync%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20if%20reflect_form.value%20is%20not%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20lab_sync.record(reflection%3Dreflect_form.value)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A