Executando o aplicativo Datasette Python completo do lado do servidor no navegador com service workers e Pyodide

Executando o aplicativo Datasette Python completo do lado do servidor no navegador com service workers e Pyodide

17 de novembro de 2026

Datasette Lite é minha versão do aplicativo Datasette Python para rodar diretamente no navegador usando WebAssembly e Pyodide. Lancei uma reescrita completa do Datasette Lite usando service workers, e agora ele é quase indistinguível do aplicativo real do lado do servidor.

Agora você pode fazer tudo a seguir, usando um URL cuidadosamente elaborado para lite.datasette.io:

  • Carregue o Datasette do lado do cliente para navegar em qualquer banco de dados SQLite, arquivo JSON, arquivo CSV ou script SQL
  • Selecione uma versão lançada do Datasette para carregar do PyPI
  • Carregue um commit, tag ou nome de branch específico do repositório GitHub do Datasette
  • Escolha entre mais de 100 versões do SQLite para usar com o Datasette
  • Instale plug-ins adicionais do Datasette do PyPI ou URLs para rodar arquivos, incluindo ferramentas de visualização JavaScript

A capacidade de carregar referências específicas do Datasette, plug-ins e versões SQLite torna esta uma ferramenta fantástica para vincular a demonstrações de recursos de trabalho em andamento ou reproduções de bugs, sem a necessidade de ativar um servidor web completo para servir essa demonstração.

Como exemplo, considere o seguinte URL:

https://lite.datasette.io/?install=datasette-maplibre&url=https://gist.githubusercontent.com/simo nw/39fa5d399465766039549912e2b3d291/raw/f6dfba99a75cbb8b5d9386223220eb52272767ee/demo.db&metadata = https://gist.githubusercontent.com/simonw/39fa5d399465766039549912e2b3d291/raw/f6dfba99a75cbb8b5 d9386223220eb52272767ee/metadata.yml#/demo/capitals_and_countries%23map=0/4.2/180&color=continent

Siga esse link e, após uma breve tela de carregamento, você se encontrará em uma página parecida com esta:

Captura de tela de uma interface de mapa da web. Barra de ferramentas: "Visualizar" definido como "Aglomerados", "Colorir por" definido como "continente"mais "Filtrar para esta área" e "Baixar GeoJSON" botões. Um mapa mundial mostra países delineados e sombreados por continente, com pontos coloridos e círculos numerados. Um pop-up para um ponto na América do Sul diz: capital Caracas, país Venezuela, continente América do Sul, capital_population 2985000, latitude 10.502944, longitude -66.918983. Legenda: África (52), Ásia (45), Europa (39), América do Norte (16), América do Sul (13), Oceania (6). Texto: "Todas as 171 linhas estão no mapa". Abaixo, uma tabela com colunas país, continente, capital_population, latitude, longitude, limite. Primeira linha: Afeganistão, Ásia, 3277000, 34.518636, 69.181314, com um pequeno mapa na coluna limite mostrando o Afeganistão delineado e sombreado em azul.

Esse é o Datasette executando o novo plug-in datasette-maplibre, carregando um banco de dados de formas GeoJSON de países e exibindo um mapa combinado e mapas de limites individuais em uma tabela.

Vamos analisar esse URL para ver o que ele está fazendo:

https://lite.datasette.io/
  ?install=datasette-maplibre
  &url=https://.../demo.db
  &metadata=https://.../metadata.yml
  #/demo/capitals_and_countries%23map=0/4.2/180&color=continent

O ?install=datasette-maplibre instala esse plugin adicional do PyPI. Você pode passar &install=... quantas vezes quiser para carregar mais plugins.

&url=https://.../demo.db carrega esse banco de dados SQLite a partir do URL fornecido. Esses URLs precisam ter cabeçalhos CORS abertos – eu hospedo arquivos como este no Gists, porque eles fornecem uma maneira fácil de obter cabeçalhos CORS abertos em um arquivo hospedado na web.

&metadata=https://.../metadata.yml carrega este arquivo metadata.yml. O arquivo de metadados adiciona descrições HTML a várias tabelas e à página inicial do Datasette. Visite a página inicial aqui para um tour guiado pelos outros recursos desse plugin, todos definidos no arquivo de metadados.

#/demo/capitals_and_countries%23map=0/4.2/180&color=continent é um hash de fragmento que se transforma em um local dentro do Datasette – aqui está carregando o /demo/capitals_and_countries Visualização SQL e, em seguida, anexando outro hash de fragmento para ele (%23 é um URL codificado #) que informa ao plug-in do mapa para ampliar um determinado local e definir a cor das formas no mapa com base no continent coluna nos dados.

Esse URL está funcionando muito! Escrevi mais sobre esse truque para construir software endereçável por URL em ambientes Pyodide Python endereçáveis ​​por URL no ano passado.

O conjunto completo de argumentos de URL suportados está descrito no README do Datasette Lite.

Já comecei a usar o Datasette Lite como parte do processo de desenvolvimento do Datasette. Aqui está um problema recente que descreve um bug de paginação – postei um comentário demonstrando o comportamento antigo e quebrado e a nova correção usando links para o Datasette Lite:

Demonstração do bug: https://lite.datasette.io/?ref=1.0a42&sql=https://gist.github.com/simonw/75ececf61d50e6e8d50f0c150150ee81#/data/scores?_size=2&_sort=score — clique em próximo e a segunda página estará vazia.

Aqui está a mesma página com o bug corrigido (em execução em 1.0a43): https://lite.datasette.io/?ref=1.0a43&sql=https://gist.github.com/simonw/75ececf61d50e6e8d50f0c150150ee81#/data/scores?_size=2&_sort=score

Como isso funciona, usando service workers

Datasette Lite não é um projeto novo. Lancei a primeira versão em 2022, originalmente como uma brincadeira (executar aplicativos do lado do servidor no navegador é muito engraçado), mas que rapidamente começou a provar seu valor.

O problema dessa versão inicial é que era uma hackear. Funcionou executando o Datasette em um web trabalhador Pyodide, simulando solicitações por meio dessa pilha e, em seguida, injetando o HTML resultante de volta na página de nível superior usando innerHTML.

Isso funcionou para o Datasette básico, mas significava que qualquer recurso que usasse JavaScript não funcionaria, porque as tags de script em innerHTML não executa, e os truques do web trabalhador usado falharam ao carregar arquivos JavaScript ou CSS adicionais.

A nova versão adota uma abordagem completamente diferente baseada em Service Workers. Isso permite que o JavaScript intercepte solicitações HTTP para novas páginas e recursos e os sirva a partir do código do lado do cliente.

O Datasette Lite registra um service worker para todo o lite.datasette.io domínio. A página pai então cria um iframe que envia solicitações de páginas do Datasette para URLs semelhantes a este:

/app/aa94e6851595/ # the homepage (HTML)
/app/aa94e6851595/data/places # a table page (HTML)
/app/aa94e6851595/-/static/navigation-search.js # (JavaScript)
/app/aa94e6851595/-/static/app.css # (CSS)

Esses são URLs regulares do Datasette, mas com um /app/aa94e6851595/ prefixo. O que é isso?

O /app// o prefixo é necessário devido a várias guias.

Considere o URL acima, que carrega a instância de demonstração com o datasette-maplibre plug-in. Esse URL define uma instância completa e personalizada do Datasette. Você pode ter aquele rodando em uma guia e, em seguida, um dos meus outros links de demonstração rodando em outra.

O trabalhador de serviço para lite.datasette.io é compartilhado entre todas essas guias. Se fosse roteado para uma única instância do Datasette, cada guia compartilharia essa instância subjacente, independentemente de quais plug-ins ou outras configurações seu URL tentasse configurar.

Em vez disso, a página pai gera um ID de sessão aleatório e o usa como prefixo para todos os ativos ocultos subsequentes e carregamentos de página. O service worker pode então usar esse ID de sessão para rotear essas solicitações de volta através da página pai para um web trabalhador executando uma instância do Datasette dedicada para aquela sessão específica.

(Ainda precisamos de um Web Worker porque o Pyodide em um Service Worker não seria capaz de manter o estado além de cerca de 30 segundos, dependendo do navegador. Há muitas partes móveis aqui!)

Fiz com que Claude Fable 5.2 gerasse vários diagramas SVG para ajudar a explicar isso. Aqui está o meu favorito, agora incorporado no README do Datasette Lite:

Executando o aplicativo Datasette Python completo do lado do servidor no navegador com service workers e Pyodide

Este sistema começou em maio como um pico de pesquisa de IA gerado usando Claude Opus 4.8. Foi só em novembro (e Claude Fable 5.2) que me senti familiarizado o suficiente com como tudo funciona para enviá-lo para produção com segurança!

Recurso bônus: escolha sua versão do SQLite

Eu adicionei esse recurso ontem à noite como um desdobramento da investigação de um possível bug no SQLite.

O Datasette foi projetado para funcionar em qualquer versão lançada do SQLite desde 3.25 (lançada em setembro de 2018). Houve mais 87 lançamentos desde então.

Ser capaz de iniciar o Datasette em uma versão específica do SQLite é realmente útil para demonstrar novos recursos do SQLite e depurar problemas estranhos.

No passado, usei vários truques para executar diferentes versões do SQLite com Python no meu Mac, mas não é um processo trivial.

WebAssembly é perfeito para isso. Posso carregar uma compilação SQLite personalizada inteiramente em meu navegador, testá-la lá e descartá-la ao fechar minha guia.

datasette/pysqlite3-wasm-wheels é meu novo repositório que contém rodas Python compiladas com WebAssembly para pysqlite3 para 163 versões SQLite diferentes. Cada versão recebe um arquivo com um nome como este:

pysqlite3-0.6.2-3.54.1-cp314-cp314-pyemscripten_2026_0_wasm32.whl

Isso é para SQLite 3.54.1, a versão mais recente.

Datasette Lite agora leva um especial ?sqlite= Parâmetro de URL, que aceitará um número de versão como 3.54.1resolva o caminho para o arquivo wheel correspondente, busque esse wheel e instale-o no ambiente Pyodide e configure o Datasette para usá-lo.

Depois de construir as rodas, decidi que Claude Fable 5.2 me construísse (esta ferramenta bônus)(https://datasette.github.io/pysqlite3-wasm-wheels/?versions=3.54.1,3.54.0&sql=select+json_object(%27a%27%2C+(select+json_array(1%29%29%29) para comparar um SQL consulta em qualquer versão selecionada do SQLite. Aqui está um exemplo que mostra como. select json_object('a', (select json_array(1))) difere entre SQLite 3.54.0 e 3.54.1:

Captura de tela de uma ferramenta da web para comparar SQL entre versões do SQLite. Cabeçalho "Versões SQLite (163 disponíveis)" fica acima de uma entrada de texto de filtro com espaço reservado "Filtro, por exemplo, 3.4"um "Limpar seleção" botão e um azul "Inicie o REPL com 2 versões" botão. Abaixo está uma grade rolável de caixas de seleção em forma de pílula, uma por versão, indo de 3.54.1 até 3.30.0, com 3.54.1 e 3.54.0 marcadas. UM "REPL" o título segue, com dois crachás de status verdes lendo "3.54.1 pronto" e "3.54.0 pronto"então uma área de texto contendo "selecione json_object('a', (selecione json_array(1)))" ao lado de um azul "Correr" botão e uma linha de exemplos de consultas clicáveis ​​rotuladas "Exemplos:". A seção de saída mostra o prompt "sqlite> selecione json_object(‘a’, (selecione json_array(1)))" seguido por um aviso laranja "As versões diferem: 2 resultados diferentes" e dois painéis de resultados amarelos lado a lado, cada um com a consulta como cabeçalho da coluna. O "SQLite3.54.1" painel retorna um objeto JSON onde chave "um" tem um valor de string: a matriz que contém 1, colocada entre aspas duplas. O "SQLite3.54.0" painel retorna um objeto JSON onde chave "um" tem uma matriz real contendo 1, sem aspas.” style=”max-width: 100%;”/></p>
<h4 id=Isso também deve funcionar para todos os outros aplicativos Python

Nada sobre como o Datasette Lite funciona é exclusivo do Datasette. Quase qualquer aplicativo Python deve ser capaz de executar o mesmo truque: rodar inteiramente no navegador usando WebAssembly e Pyodide, como uma maneira barata de fornecer ambientes de visualização, demonstrar recursos e recriar bugs.

As extensões C e Rust costumavam ser um bloqueador para esse tipo de coisa, mas qualquer bom agente de codificação pode compilá-las para WebAssembly compatível com Pyodide agora. Você pode até publicá-los no PyPI a partir do PEP 783 em abril de 2026.

Um problema são os bancos de dados. SQLite não é problema algum, mas executar PostgreSQL ou MySQL no WebAssembly, embora possível, ainda é um caminho menos trilhado.

Eu adoraria ver ambientes de visualização do WebAssembly como esses se tornarem um padrão comum em todo o ecossistema Python.

Para Hacker News: aplicativo Datasette Python completo do lado do servidor no navegador com service workers

Source link

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

Botão Voltar ao Topo