Posts on AveryanAlex's blog

Установка KDE Connect (GSConnect) на NixOS

Fri, 13 Sep 2024 01:20:52 +0300

KDE

Без использования home manager

1
2


programs.kdeconnect.enable = true;
# нужные порты будут открыты автоматически

С home manager

1
2
3
4
5
6
7
8


home-manager.users.username.services.kdeconnect.enable = true;

# home-manager не может менять системные настройки, поэтому откроем порты вручную
# скопировано из https://github.com/NixOS/nixpkgs/blob/master/nixos/modules/programs/kdeconnect.nix
networking.firewall = rec {
 allowedTCPPortRanges = [ { from = 1714; to = 1764; } ];
 allowedUDPPortRanges = allowedTCPPortRanges;
};

GNOME

Без использования home manager

1
2
3
4


programs.kdeconnect = {
 enable = true;
 package = pkgs.gnomeExtensions.gsconnect;
};

После этого необходимо включить расширение GSConnect в приложении “Расширения” (Extensions).

С home manager

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


home-manager.users.username.programs.gnome-shell = {
 enable = true;
 extensions = [{ package = pkgs.gnomeExtensions.gsconnect; }];
};

# home-manager не может менять системные настройки, поэтому откроем порты вручную
# скопировано из https://github.com/NixOS/nixpkgs/blob/master/nixos/modules/programs/kdeconnect.nix
networking.firewall = rec {
 allowedTCPPortRanges = [ { from = 1714; to = 1764; } ];
 allowedUDPPortRanges = allowedTCPPortRanges;
};

Home Manager автоматически добавит расширение в список включенных в dconf, поэтому включать его через “Расширения” не потребуется.

ПикчеХранитель: бот для сохранения и поиска картинок

Tue, 02 Apr 2024 12:59:30 +0300

Зачем нужен ПикчеХранитель?

У вас когда-нибудь было такое, что вы хотите отправить в чат пикчу, помните, что на ней было, но не можете её найти в галерее? У меня – да. Именно поэтому я сделал телеграм-бота @picsavbot, решающего эту проблему. Просто отправляйте ему понравившиеся картинки (а также стикеры и видео) и он сохранит их в вашу персональную библиотеку. Теперь вы сможете использовать ту самую пикчу в тот самый момент в любом чате, просто написав в поле ввода текста @picsavbot описание пикчи.

Как правильно составлять запросы

Если вы введёте “жирный кот”, сначала (при наличии у вас таких изображений, конечно) вы увидите жирных котов, затем просто котов, и далее, скорее всего, других животных. Нейросеть CLIP не очень хороша в чтении текста, но всё же немного может понимать английский. Зато зачастую она хорошо узнаёт логотипы – например, minecraft или фонда SCP. Но о мемах у неё знаний почти нет – составляйте описания того, что находится на искомой картинке как для своей бабушки.

Что вы хотите найти	Хороший поисковой запрос
Шлёпа	Кот с большими ушами
Гигачад	Накачанный мужчина
Гачи мем	Драка в раздевалке
Дурка	Санитар протянул руку
Это среда мои чуваки	Жаба
Амогус	Красный космонавт

Принцип работы бота

Вы отправляете изображение/стикер/видео telegram-боту @picsavbot, он отдаёт его на анализ нейросети CLIP (используется модель от LAION CLIP-ViT-H-14-laion2B-s32B-b79K) и сохраняет результат (многомерный вектор, соответствующий содержимому картинки) в базу данных PostgreSQL с плагином для хранения и поиска векторов pgvector. При сохранении анимированного стикера или видео берётся его превью, обычно соответствующее первому кадру.

Чтобы найти нужную пикчу среди сохранённых, вы можете ввести в поле отправки сообщения в любом чате @picsavbot описание картинки. С помощью Яндекс.Переводчика бот переведёт введённое описание на английский язык, проанализирует его с помощью CLIP и найдёт в базе данных наиболее подходящие по cosine similarity картинки.

Когда вы отправите одну из найденных картинок, бот увеличит количество её использований в своей базе данных, и в случае отсутствия поискового запроса (вы ввели @picsavbot без продолжения) будет сначала отображать наиболее часто используемые пикчи и стикеры.

О проекте

Исходный код: averyanalex/picsavbot.

Языки программирования: Rust, Python.

Ключевые библиотеки: tokio (асинхронный рантайм), teloxide (фреймворк для создания telegram-ботов), seaorm (работа с базой данных).

Как лень и любопытство сэкономили мне десятки часов времени

Tue, 26 Mar 2024 23:08:36 +0300

О проекте

Исходный код: github.com/averyanalex/matetech-answers-bot.

Языки программирования: Rust, SQL.

Ключевые библиотеки:

tokio (асинхронный рантайм)
reqwest (http клиент)
sqlx (работа с базой данных)
teloxide (фреймворк для создания telegram-ботов)

История создания

В 9 классе я поступил в “олимпиадную” школу. Хорошая школа, в которой почти не было “лишних” предметов и можно было спокойно готовиться к олимпиадам. Многие непрофильные предметы, например биология, были в виде так называемых дистанционных курсов, которые работают примерно так: открываешь сайт системы онлайн-обучения, смотришь 10-15 минутную лекцию, делаешь тест, ~~ища в интернете ответы~~, и получаешь свои кровные 80-100% правильных ответов.

Идея и первая версия

Процесс, честно говоря, достаточно скучный. А что нужно делать, когда становится скучно с открытым браузером? Правильно, открывать режим разработчика. Потыкать код элемента и показать друзьям, как ты сделал тест на 200% за 3 секунды. Открыть вкладу “сеть” и посмотреть, что и куда перес ылает сайт, пока делаешь тест. Сделать тест и открыть результаты…

И тут оказывается, что в json-е с результатами теста есть правильные ответы, хотя сам сайт их не показывает! Интересно. Нужно копать дальше. Копируем запрос как curl и запускаем в терминале. Отлично, видим этот самый json. Запускаем новый тест, меняем айди попытки теста в запросе, и… получаем ответ от сервера! С результатами выполнения теста (и правильными ответами) до завершения этого самого теста.

Находка, конечно, интересная. Но хочется и одноклассникам с тестами помочь, да и в консоль лишний раз не лазать. Прошу знакомого скинуть мне айди попытки какого-нибудь его теста, подставляю… работает! Убираю у запроса заголовок с авторизацией - получаю ошибку доступа. Получается, гении-разработчики платформы дистанционного обучения сделалали проверку наличия авторизации (как я помню, валидной - случайный токен не подойдёт), а вот на права доступа успешно забили. Ну, молодцы, хоть что-то они сделали.

Дальше дело техники. Написал простенького телеграм-бота на питоне, который, получая айди теста, присылал ответы на все вопросы. Но “палить контору”, что ответы на тесты вот так висят фактически в общем доступе на сайте не хочется, а значит и существование бота. Переделал бота - теперь он, встречая айди попытки для теста, который он ещё не видел, отправляет ответы в публичный телеграм канал. Как будто тесты прорешаны вручную и никаких приколов сайта нет.

Сарафанное радио сделало своё дело - за год аудитория телеграм-канала достигла нескольких сот человек.

Вторая версия

Уязвимость, даже нет, настоящая пробоина была настолько очевидна, что её нашло достаточно много людей. И к следующему году один ~~гениальный~~ странный ученик мат-инфо профиля сделал проект на тему “Уязвимости платформы дистанционных курсов”, как-то так он назывался. Что конкретно в нём было - я не знаю, но часть проблем после этого исправили. Во первых, получать результаты чужого теста стало невозможно, во вторых, для тестовых вопросов (там где надо выбрать вариант ответа) перестали показывать верный ответ в результатах.

Стало понятно, что бот нужно усложнять, и дорабатывать для этого прототип (проработавший больше года) на питоне не хотелось. С другом решили написать новую версию на расте, т.к. знали его лучше. Сделали вход в аккаунт с сохранением токена в базу данных. Стало возможным получать результаты теста для разных людей.

Осталась лишь проблема с тестовыми вопросами - на них, в отличии от вопросов с вводом текста, ответов не было. Но, внимательно посмотрев на то, что лежит в json-е, я заметил там “балл”. Который, как оказалось, равен нулю, если текущий сохранённый ответ неверный, и >0, если ответ верный. Отлично, значит можно просто перебрать все варианты, пока балл не изменится.

Для этого, конечно, понадобилось научить бота отвечать на вопросы самостоятельно. В целом, это оказалось довольно несложно, и в качестве бонуса мы получили возможность автоматического выполнения теста, а не только получение ответов на него. Круто, теперь “тесты выполняются у всех автоматически, и никто их двже не открывает!” (Отсылка к номеру на выпускном 9 класса. В тот момент это ещё не было правдой).

Примерно так, спустя пару вечеров растокодинга, была написана вторая версия бота для получения ответов на дисткурсы. Выкатили в релиз, отправили на него ссылку в телеграм канал. Регистрироваться торопились не все - почему-то многие боялись отправлять логин/пароль от аккаунта на сайте дисткурсов в наш бот. Но это, как сказать, их проблемы: не хотят использовать - пусть не используют.

Попытки закрыть бота

Вскоре нашлись достаточно предпреимчивые школьники, которые решили попробовать на этом заработать. Сделали сами подобного бота (с оплатой за использование) и начали мне писать с предложениями закрыть бота. Хотя нет, кажется, первый раз они это предлагали ещё тогда, когда вместо бота были телеграм каналы, но менее активно.

Предлагали супер выгодные (нет) сделки: сделать моего бота платным и с такой же ценой, как у них, или закрыть своего и получать до 10% с их прибыли. Я, конечно же, отказался, и ради прикола предложил им цену в 300к. Цена их почему-то не устроила. Я думал, что на этом всё, но не тут-то было…

Они сделали канал, где стали писать, что я, мол, такой-сякой, сделал бота чтобы красть данные от аккаунтов и прохожу им тесты на 0 баллов. Сделали мой фейковый профиль, наскринили переписки якобы со мной, где “я” пишу, что списывать плохо и поэтому прошёл им тесты на нули. Не знаю, кто им поверил, но, кажется, почти никто. Кто именно это был я до сих пор не знаю, да и не особо оно мне надо.

Примеры багов платформы

Установка Yggdrasil на Windows

Wed, 14 Dec 2022 23:33:19 +0300

Что такое Yggdrasil?

Yggdrasil - децентрализованная меш-сеть, все участники которой равноправны. Каждому компьютеру в сети (ноде) назначается статический публичный IPv6 адрес, и все остальные участники сети могут обращаться к нему напрямую.

Это можно использовать, например, для игры в сетевые игры в разных локальных сетях. Один игрок запускает Minecraft сервер без платного “белого” IP, а второй подключается к нему из другого города по Yggdrasil.

Установка

Приступим к установке - скачаем и установим Yggdrasil, настроим пиры для подключения, проверим работоспособность и получим собственный IP-адрес.

Скачивание установщика

Откройте страницу с последним релизом Yggdrasil на GitHub.

Найдите там файл yggdrasil-x.y.z-x64.msi (для версии 0.4.7 это yggdrasil-0.4.7-x64.msi). Если же у вас 32-битная система (из 2000-х годов), скачайте файл yggdrasil-x.y.z-x86.msi.

Установка MSI

Откройте установочный MSI файл.

Подтвердите запуск (нажмите “Запустить”).

При запросе предоставьте установщику права администратора.

После этого откроется окно установщика и дополнительных вопросов задаваться не будет. После завершения установки (она длится несколько секунд) это окно сразу закроется.

На этом процесс установки завершён, и мы переходим к настройке.

Ошибка 2503

Иногда при установке MSI файлов может появляться ошибка 2503. Откройте свойства папки C:\Windows\Temp, перейдите в раздел “Безопасность” и убедитесь, что у группы Администраторы и у вашего пользователя (если его нет в списке, добавьте) есть все права. Информация взята с сайта Microsoft Community.

Настройка пиров

Пиры - это те сервера, к которым подключается Yggdrasil, чтобы получить доступ к остальной сети.

Лучше выбрать один общий стабильно работающий пир для всех игроков - так пинг будет минимален, и через вас не пойдёт трафик других людей, забивая интернет канал (пересылка трафика - задача публичных пиров).

Выбор пиров

Существует репозиторий со списком публичных пиров на GitHub. Пиры в нём сгруппированы по континентам, странам и городам. Лучше выбирать те пиры, что ближе к хосту - так пинг у всех игроков будет меньше.

Например, можно использовать мой пир (г. Москва): tls://ygg-msk-1.averyan.ru:8363 или quic://ygg-msk-1.averyan.ru:8364 (quic вариант предпочтительнее, если он у вас работает и не заблокирован).

Но, возможно, не все из них работают - проверить список доступных пиров можно на сайте разработчика сети.

Редактируем конфиг

Нажмите сочетание клавиш Win+R, чтобы запустить приложение “Выполнить”. Введите в нём путь до конфига: %ALLUSERSPROFILE%\Yggdrasil\yggdrasil.conf

Нажмите OK. Если у вас спрашивают, как открыть файл - выберите Блокнот.

Введите выбранные вами пиры в список Peers.

1
2
3
4


Peers: [
 tls://ygg.averyan.ru:8362
 tcp://box.paulll.cc:13337
]

Сохраните конфиг сочетанием клавиш Ctrl+S или в меню “Файл”.

Перезапуск Yggdrasil

Чтобы Yggdrasil применил новые настройки, нужно его перезапустить. Самый очевидный (но долгий) способ - перезагрузить компьютер. Мы же перезапустим его в диспетчере задач.

Откройте Диспетчер Задач сочетанием клавиш Ctrl+Shift+Esc или кликом правой кнопкой мыши по значку Windows (кнопке Пуск) в панели задач.

Если открылась упрощённая версия Диспетчера задач - нажмите кнопку “Подробнее”.

Откройте вкладу “Службы”, найдите в самом низу Yggdrasil, нажмите по нему правкой кнопкой мыши и перезапустите.

Последние шаги

Установка и настройка завершена - осталось проверить, всё ли работает и узнать свой IP-адрес.

Проверка работоспособности

Запустите Командную строку.

Введите команду "C:\Program Files\Yggdrasil\yggdrasilctl.exe" getPeers, чтобы посмотреть список подключенных пиров. Их должно быть столько, сколько вы указали. Если их меньше - какие то пиры недоступны.

Если при вводе этой команды возникает ошибка, попробуйте перезагрузить компьютер.

Попробуйте открыть и попинговать сайт Yggdrasil (доступен только из сети Yggdrasil и может грузиться достаточно долго):

1

ping [319:3cf0:dd1d:47b9:20c:29ff:fe2c:39be]

Получение своего IP-адреса

Чтобы узнать свой IP-адрес, введите команду "C:\Program Files\Yggdrasil\yggdrasilctl.exe" getSelf:

На месте выделенной строки будет ваш IPv6-адрес в сети Yggdrasil.

Можно заметить, что пинг до собственного адреса практическо нулевой.

Настройка игр

Теперь Yggdrasil установлен на ваш компьютер и работает. Давайте применим его для сетевой игры.

Minecraft

Установите Yggdrasil на то устройство, которое будет хостить сервер и на те, которые будут к нему подключаться.

Запустите сетевую игру на хосте (Open to LAN) и запомните порт:

Узнайте IP-адрес хоста. (В моём случае это 200:d08:17f6:af6e:b285:16de:d3ba:387a)

Подключитель к серверу (введите айпи в квадратных скобках и укажите порт через двоеточие):

Если подключиться не удаётся, попробуйте настроить Брандмауэр Windows или вовсе его отключить, а так-же проверить пинг до хоста.

Готово! Теперь мы можете играть в Minecraft со своими друзьями в любое время.

Как проверить качество FLAC?

Sun, 28 Aug 2022 18:19:11 +0300

Как можно отличить кодеки с потерями, такие как MP3?

Я не буду подробно рассказывать про принципы работы аудиокодеков с потерями, об этом можно почитать в википедии в разделе “Сжатие с потерями”. Для определения поддельных FLAC, созданных конвертацией из MP3 мы воспользуемся тем, что при сжатии с потерями отсекаются высокие частоты. Например, для 320-kbit MP3 удаляются все частоты выше 20 кГц (для более низких битрейтов порог частот тоже ниже). В форматах без потерь, таких как FLAC, аудио остаётся в исходном виде.

Установка программы анализа спектра Spek

Spek - бесплатная программа с открытым исходным кодом для анализа частотного спектра аудиофайлов, поддерживающая Windows, Linux и MacOS. Она и поможет нам распознать поддельный FLAC.

Windows, MacOS: spek.cc.

Для Linux в большинстве дистрибутивов существует пакет spek.

Проверяем FLAC-файлы на подлинность

Давайте откроем интересующий аудиофайл в Spek и посмотрим на его частотный спектр.

В качестве примеров взят Status Quo - In The Army Now, сконвертированный из 320-kbit MP3 и AC/DC - T.N.T. без потерь.

Пример спектра настоящего FLAC

Пример спектра поддельного FLAC, сконвертированного из MP3

Хорошо заметна граница спектра MP3 при 20 кГц.