Бро строчит как из пулемета»: Раскрываю секрет, как за секунды собирать терабайтные базы данных прямо с планшета через ИИ-скрипт
Привет, DTF! В комментах уже шутят, что я строчу посты как из пулемета и пора вызывать ликвидаторов. Ладно, раскрываю карты, почему код пишется быстрее, чем вы успеваете ставить лайки.
Пока все собирают парсеры на Python, которые ползают со скоростью улитки, я автоматизировал сам процесс генерации хардкорных скриптов.
Мой no-CUDA движок на C++20 умеет не просто ворочать 50 000 000 объектов в bfloat16 за 1.2 секунды. Я доработал архитектуру так, что она за один проход компилирует готовые микро-модули для параллельного стриминга данных.
Что это дает на практике:
• Скорость скачивания и обработки медиа-архивов взлетает до сотен тысяч объектов в час.
• Всё это работает напрямую внутри Google Colab в браузере — без использования памяти вашего девайса (я запускаю тесты вообще с обычного планшета).
• Процессор сам оптимизирует потоки через AVX2 инструкции на лету.
Вы думали, это спам, а это просто демонстрация того, как выглядит разработка, когда ты не упираешься в ограничения железа и лимиты интерпретаторов.
Весь движок, на котором крутятся эти бенчмарки, полностью открыт. Блокнот для запуска в одну ячейку лежит здесь:
👉 https://github.com/nlozkina19-crypto/vector-zero-compute
Залетайте, пока ликвидаторы от Гоголя не приехали. Как думаете, автоматизация на низкоуровневом коде убьет классический веб-скрейпинг, или Куртка из Nvidia все-таки запретит нам использовать CPU бесплатно? Жду финальный раунд в комментах!