snake_d_ha: (Default)
snake_d_ha ([personal profile] snake_d_ha) wrote2020-10-03 06:35 pm
Entry tags:

Проиграть сражения и выиграть войну

Никак не могу придумать, как бы правильно и умно написать, так что пусть будет как попало.

Я по одному из проектов сейчас анализирую разные алгоритмы биржевой торговли.


Грубо говоря, математики делают черные ящики, которые говорят, когда нужно продавать и покупать акции, чтобы получить больший доход от биржи. Я видел за последний год уже четыре таких проекта, этот пятый.


Проверяются они достаточно просто:
— А давайте мы возьмем тестовую акцию и натравим на нее вместе с вашей совершенно секретной обученной нейросетью случайные продажи и покупки, и посмотрим кто будет лучше? (Помнится на этих условиях десять лет назад обезьяна, выбравшая случайно из пула пять акций, обогнала 90% профессиональных фондов. И в следующий раз тоже, хе-хе.)


— А давайте мы вместе с вашей секретной обученной нейросетью возьмем какой-то самую примитивную логику, типа покупать когда растет и продавать когда падает, и сравним результат?


На этом обычно проект заканчивается, или меня оттуда гонят ссаными тряпками и продаются американцам за миллионы. :) Как пойдет.


Так вот, для наглядности анализа берется допустим одна акция и период в пару-тройку месяцев. (Это не для статистики, отдельно отмечу, а для разбора собственно работы логики и эффективности отдельных операций.)


Вот берем например Zoom за период с начала августа по конец сентября.



Если не делать ничего, просто купить и держать, он даст 190%.

Алгоритм добавляет три пары купли-продажи, из которых две — Продать 230 — Купить 237, Продать 458 — Купить 479. Очевидно, что они невыгодны и откровенно вредны. (Третья — Продать 410 — Купить 361)


Тем не менее применение всех трех пар дает +22% доходности операции.


Чуть более продвинутый алгоритм дает 9 пар операций, из которых откровенно вредны 7. И +77% доходности.


И вот это взрывает мне мозг. Как может процесс, который на три четверти делает неправильные вещи, быть эффективным?!?


А он эффективен. Статистически.


Абсолютно иррационально.


[identity profile] volcohara.livejournal.com 2020-10-03 03:52 pm (UTC)(link)
--- Как может процесс, который на три четверти делает неправильные вещи, быть эффективным?!?

называется растущий рынок. Теперь берем тот же самый алгоритм и начинаем его применять на падающем рынке - и получаем уже не +77%, а -177%

Подробности о том, что яйцеголовые умеют выжимать копейки из алгоритмов, а потом оно бабахает по большому и уносит с собой капиталы и основателей, смотреть в кейсе по LTCM

[identity profile] snake-d-ha.livejournal.com 2020-10-03 04:11 pm (UTC)(link)
Вопрос же не о том, как оно будет работать глубоко вообще. :)

Хотя ради интереса засунул в их логику несчастную Николу - без действий -20%, после 9 пар сделок +47%. Там свои болячки и ограничения, но опять-таки не в этом суть.

75% действий - вредят. :)

[identity profile] Алексей Орлов (from livejournal.com) 2020-10-03 03:52 pm (UTC)(link)
А вы говорите: стартапы, стартапы.

[identity profile] siberian-laykee.livejournal.com 2020-10-03 04:05 pm (UTC)(link)
Процитирую много букв. Мичи, Джонстон. "Компьютер - творец"
Странный случай с таблицей Томпсона
В 1977 г. на конференции Международной федерации по обработке
информации, происходившей в Торонто, Кеннет Томпсон из научно-
исследовательской фирмы «Белл телефон лабораторис» представил
собравшимся компьютерную программу игры в эндшпиле: король
и ферзь против короля и ладьи. Разработал он эту программу пре¬
дельно топорным методом: при отсутствии полного набора правил
игры в эндшпиле он просто заранее составил программу, указы¬
вающую, что делать в каждой из возможных позиций — а их было
4 млн. Программа составлялась методом перебора от конца к на¬
чалу. С этой целью для каждой позиции выяснялось, каким бы
мог быть наилучший предшествующий ход, приведший к данному
положению на доске. Все эти ходы были затем занесены в гигант¬
скую справочную таблицу, хранящуюся в машинной памяти, при¬
чем каждый элемент таблицы означает: «Если фигуры находятся в
таких-то позициях, то ходите так-то».
з шахматной теории известно, что (за исключением неболь¬
шого числа очень специальных случаев) при правильной игре в
этом эндшпиле неизбежна победа того, кто владеет ферзем. Шах¬
матные мастера обычно уверенно выигрывают этот эндшпиль против
любого противника. Поэтому, играя за обладателя короля и ладьи,
программа Томпсона выбирала ходы так, чтобы максимально от¬
тянуть свой проигрыш. На конференции присутствовали два меж¬
дународных шахматных мастера: Ханс Берлинер, экс-чемпион
мира в игре по переписке, и чемпион Канады Лоренс Дей. Томпсон
пригласил их показать, как, имея ферзя, выигрывать у машины,
играющей с ладьей. К своему крайнему смущению, шахматисты
обнаружили, что им не удается выиграть даже после многочислен¬
ных попыток. И это несмотря на то, что любая позиция, которая
встречалась им на протяжении игры, была для них выигрышной.
Машина снова и снова делала оборонительные ходы, казав¬
шиеся шахматистам очень странными и противоречащими интуи¬
ции, и от неожиданности они в очередной раз упускали победу.
Например, хорошо известно, что в этом эндшпиле нужно всегда
придерживаться главнейшего правила: «Не уводить ладью далеко
от короля». Предполагается, что ладья нуждается в короле для
защиты от ферзя. Однако, действуя согласно супертаблице Томп¬
сона, король и ладья неоднократно расходились, находя в про¬
странстве задачи тот единственный путь — как бы тернист и из¬
вилист он ни был,— который максимально отдаляет их неизбежное
поражение.
Естественно, что и Берлинеру, и Дею сложившаяся ситуация
была крайне неприятна. Они жаждали хотя бы получить объяс¬
нение, что стоит за стратегией программы, но этого, разумеется,
ни программа, ни ее автор дать им не могли. Ответ был один: «Так
указано в таблице». Программа содержит исчерпывающие знания,
но их нельзя выразить через цели, возможности, риск, замыслы,
тактику и другие богатые концептуальные понятия, которыми
пользуются шахматисты, задавая вопросы и получая ответы на них.
Машина не в состоянии объяснить свое поведение, скажем, таким
образом: «На этой стадии белые должны постараться отогнать
противника короля на край доски». Чего ей не хватает,— так это
средств общения на концептуальном уровне, с помощью которых
машина и люди могли бы обмениваться знаниями в таком виде,
который доступен человеку, т. е. в форме понятий.

[identity profile] snake-d-ha.livejournal.com 2020-10-03 04:18 pm (UTC)(link)
Да, что-то похожее.

(no subject)

[identity profile] abcentia.livejournal.com - 2020-10-03 16:46 (UTC) - Expand

[identity profile] live13.livejournal.com 2020-10-03 04:17 pm (UTC)(link)
В комбинаторике и нечеткой логике полно непостижимых чудес.

[identity profile] abcentia.livejournal.com 2020-10-03 04:44 pm (UTC)(link)
Там как раз всё чётко :)

[identity profile] abcentia.livejournal.com 2020-10-03 04:44 pm (UTC)(link)
Похоже, вам имеет смысл точно определить понятия "эффективность" и "неправильные вещи".
С грамотным управлением капитала прибыль дают системы, которые имеют от 40% прибыльных сделок, то есть хуже, чем в казино.
Послушайте интервью Jim Simons, Renaissance Technologies, он уже давно заменил трейдеров докторами математических наук и программистами. Комиссионные у него процентов 40 вроде.

[identity profile] snake-d-ha.livejournal.com 2020-10-03 09:08 pm (UTC)(link)
Спасибо, послушаю.

[identity profile] john-jack.livejournal.com 2020-10-03 04:44 pm (UTC)(link)
Риск же. Невозможно знать заранее, что операция будет вредной.
А вообще про это [livejournal.com profile] metasilaev много писал. Что на бирже простой алгоритм работает лучше хитровывернутых. С небольшой, но надёжной прибылью.

[identity profile] mainstream-zp.livejournal.com 2020-10-03 05:15 pm (UTC)(link)
А что тут иррационального?

Одна четверть операций дает прибыль выше, чем убыток от трех четвертей.

Одна четверть продуктов дает прибыль больше чем убыток от трех четвертей и т.д.

Один стартап дает прибыль 1000% а остальные прогорают, но в сумме все равно прибыль

[identity profile] snake-d-ha.livejournal.com 2020-10-03 09:09 pm (UTC)(link)
Резонно.

Почему же при этом не получается оставить эту одну операцию, зачем нужны все вредные? :)

(no subject)

[identity profile] karpion.livejournal.com - 2020-10-03 21:23 (UTC) - Expand

[identity profile] hardsign.livejournal.com 2020-10-03 05:38 pm (UTC)(link)
Об этом книги Николаса Талеба.
Если отжать из них всю воду, то основная мысль звучит так: «Мат. ожидание важнее вероятности». В данном контексте математическое ожидание – это произведение вероятности события на тяжесть последствий.

Самая простая иллюстрация. Мы играем в игру: бросаем кубик, и за любой исход, кроме 6, я плачу вам доллар. Но если выпадет 6, то вы мне платите 6 долларов. Вероятность вашего выигрыша больше, и выигрывать вы будете примерно в 5 раз чаще, чем проигрывать. Но деньги всё равно потеряете.

Теория вероятностей противоречит бытовому здравому смыслу. С этим надо смириться и учитывать это.

[identity profile] chieftain-yu.livejournal.com 2020-10-03 09:03 pm (UTC)(link)

Она не обязательно противоречит.
Но может.

(no subject)

[identity profile] snake-d-ha.livejournal.com - 2020-10-03 21:10 (UTC) - Expand

[identity profile] freedom_of_sea.livejournal.com 2020-10-03 07:03 pm (UTC)(link)
хотел бы я быть хотя бы вполовину таким умным как моя жена потом.
Вы уже знаете чем закончится история с Зумом а программа не знает
Edited 2020-10-03 19:04 (UTC)

[identity profile] snake-d-ha.livejournal.com 2020-10-03 09:10 pm (UTC)(link)
Чем? :)

[identity profile] uxotrade.livejournal.com 2020-10-03 07:14 pm (UTC)(link)
Алгоритмическая торговля на ФР- это о статистике, вероятностях и матожидании. Если вероятность того, что сделка в 60% случаях и принесет Х% при риске Y%, то докрутить алгоритм чтоб было 90% не получится.
Но интересно не это. Самое странное другое - а) нафига Вы им надо, б) они шо, прямо берут вот и чужому дяде алгоритмы показывают? Удивительная история. Ну либо конечно просто алгоритмы хреновые и они сами в них не шибко верят :)
Edited 2020-10-03 19:36 (UTC)

[identity profile] abcentia.livejournal.com 2020-10-03 08:34 pm (UTC)(link)
Именно.

(no subject)

[identity profile] snake-d-ha.livejournal.com - 2020-10-03 21:11 (UTC) - Expand

(no subject)

[identity profile] uxotrade.livejournal.com - 2020-10-03 22:23 (UTC) - Expand

(no subject)

[identity profile] snake-d-ha.livejournal.com - 2020-10-08 14:55 (UTC) - Expand

[identity profile] strat-energy.livejournal.com 2020-10-03 08:28 pm (UTC)(link)
Дык волны жеж. Рост-коррекция. Алгоритм их и берёт. А не только абсолютный хай-лоу.

[identity profile] snake-d-ha.livejournal.com 2020-10-03 09:13 pm (UTC)(link)
Да.

Но в 3/4 случаях походу берет или неправильно, или с опозданием.

[identity profile] chieftain-yu.livejournal.com 2020-10-03 08:58 pm (UTC)(link)

Пусть мы играем в такую игру:
За две минуты до полуночи кладём в изначально пустую урну бумажку с числом 0.
За минуту до полуночи вытаскиваем бумажку с нулем и кладём следующие два числа - 1 и 2.
За полминуты до полуночи вытаскиваем бумажку 1 и кладём 2 бумажки - 3 и 4.
За четверть минуты вытаскиваем бумажку 2 и кладём 5 и 6.
И так далее.
Сколько бумажек будет в конце в полночь?

(no subject)

[identity profile] blk-104.livejournal.com - 2020-10-04 16:34 (UTC) - Expand

(no subject)

[identity profile] blk-104.livejournal.com - 2020-10-04 22:02 (UTC) - Expand

(no subject)

[identity profile] karpion.livejournal.com - 2020-10-03 21:26 (UTC) - Expand

(no subject)

[identity profile] karpion.livejournal.com - 2020-10-05 01:05 (UTC) - Expand

[identity profile] angeloni.livejournal.com 2020-10-03 09:27 pm (UTC)(link)
я думал этот бизнес (деланье блек боксов) помер вместе с бумом доткомов или на крайняк в 2006+

где они только деньги берут, тоже покупают наверное(с) :))))

[identity profile] angeloni.livejournal.com 2020-10-03 09:28 pm (UTC)(link)
ну и зум акция крайне неудачная, то что алгоритм на этой акции не слил уже крутое достижение
если алгоритм шортил зум после 3 февраля то он глупее той обезьяны из 90-х
на самом деле там все три сделки идиотские независимо от результата
в этой игре (биржевой) большинство людей хотят быть правыми, но что бы добиться успеха нужно не быть правым, а всего лишь делать правильные вещи
алгоритм шортивший зум делает неправильные вещи и то что он иногда оказывается прав не делает его действия правильными
Edited 2020-10-03 22:34 (UTC)

[identity profile] snake-d-ha.livejournal.com 2020-10-08 02:57 pm (UTC)(link)

В этом-то для меня и парадокс! :)

[identity profile] karpion.livejournal.com 2020-10-03 09:29 pm (UTC)(link)
Допустим, коммивояжёр выбирает из какого-то источника адреса потенциальных клиентов и наносит им визиты. Каждый визит обходится в сто долларов. Девять потенциальных клиентов из десяти - посылают его в грубой форме, а десятый соглашается, и сделка приносит три тысячи долларов чистой прибыли. Намёк понятен?
Edited 2020-10-03 21:30 (UTC)

[identity profile] angeloni.livejournal.com 2020-10-03 09:30 pm (UTC)(link)


кстати алгоритмы проверять легко и просто, если в алгоритму разрешено шортить акции то его делали долбоебы, извините за прямоту
если алгоритму запрещено шортить акции значит можно дальше тестировать

[identity profile] snake-d-ha.livejournal.com 2020-10-08 02:58 pm (UTC)(link)

То есть продавать ему нельзя?

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-08 19:48 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-08 19:50 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-08 20:11 (UTC) - Expand

(no subject)

[identity profile] snake-d-ha.livejournal.com - 2020-10-09 10:54 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-09 10:57 (UTC) - Expand

(no subject)

[identity profile] snake-d-ha.livejournal.com - 2020-10-09 11:07 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-09 13:08 (UTC) - Expand

(no subject)

[identity profile] snake-d-ha.livejournal.com - 2020-10-09 14:24 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-09 14:24 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-09 14:25 (UTC) - Expand

(no subject)

[identity profile] snake-d-ha.livejournal.com - 2020-10-09 15:02 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-09 15:04 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-09 15:08 (UTC) - Expand

[identity profile] angeloni.livejournal.com 2020-10-03 09:35 pm (UTC)(link)
скажите этим ребятам пусть лучше напишут программу которая ищет простые графические модели, они с нее больше заработают по подписке ее легко продать и рынок просто огромный, а блекбоксы счас уже никому не впаришь, не на свои же деньги давать им торговать :))))

[identity profile] snake-d-ha.livejournal.com 2020-10-08 02:58 pm (UTC)(link)

Что такое простые графические модели?

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-08 15:00 (UTC) - Expand

(no subject)

[identity profile] snake-d-ha.livejournal.com - 2020-10-09 10:49 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-09 10:56 (UTC) - Expand

(no subject)

[identity profile] snake-d-ha.livejournal.com - 2020-10-09 15:12 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-09 15:15 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-09 15:20 (UTC) - Expand
(screened comment)

(no subject)

[identity profile] snake-d-ha.livejournal.com - 2020-10-10 09:08 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-10 09:10 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-10 09:12 (UTC) - Expand

(no subject)

[identity profile] snake-d-ha.livejournal.com - 2020-10-10 09:25 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-10 09:27 (UTC) - Expand

(no subject)

[identity profile] angeloni.livejournal.com - 2020-10-10 15:46 (UTC) - Expand

[identity profile] angeloni.livejournal.com 2020-10-03 09:40 pm (UTC)(link)
И вот это взрывает мне мозг. Как может процесс, который на три четверти делает неправильные вещи, быть эффективным?!?
на самом деле вам любой трейдер более менее вменяемый скажет чтореальная статистика сделок это 70-80% - сделки не приносящие ни особой прибыли но ир не приносящие больших убытков и только 10-20% приносят прибыль и только 1-3% приносят супер большую прибыль, если убрать эти 1-3% супер прибыльных сделок то статистика легко может вылететь в минус за месяц или квартал (спекулянты знают что часто пара тройка прибыльных трейдов делают всю основную прибыль)

нгаоборот если вам показывают статистику где 70-80% сделок в плюс сразу выбрасывайте это в мусор это мартингейл скорее всего или пересиживание убытков, до поры до времени работает но иногда взрывает счет
у Коровина (загуглите кто такой) наверное 99,9% сделок в плюс и тем не менее...
нормальная статистика это много мелких сделок ни прибыли ни убытка
Edited 2020-10-03 22:08 (UTC)

[identity profile] angeloni.livejournal.com 2020-10-03 10:54 pm (UTC)(link)
Таким образом, на рынке одновременно происходят взаимодействия двух совершенно разных видов. Будем называть их «взятием риска» и «борьбой за преимущество». Зачастую в каждой конкретной сделке игрок может быть вовлечен в обе игры одновременно.

И все же крайне важно понимать разницу между этими играми.

В первую очередь бросается в глаза разная установка игрока по отношению к рынку. В играх взятия риска эту установку можно называть сотрудничающей, взаимовыгодной. Участвуя в сделке за взятие риска, вы предоставляете оппоненту, или, более абстрактно, рынку, своего рода сервис, услугу. Есть участники, которым хочется уменьшить свой риск, и вы даете им такую возможность. Ваше взаимодействие с рынком идет не по пути конфронтации, а по пути поиска взаимной пользы. В пространстве такого рода игр общая польза увеличивается, ведь обе стороны в сделке получили то, чего хотели.

Напротив, в случае игры за преимущество ваша установка против рынка – это конфронтация. Вы находитесь в агрессивной позиции и собираетесь в жестком столкновении отобрать у кого-то деньги. Это довольно ресурсоемкое взаимодействие, потому что, кроме транзакционных издержек, сторонам приходится нести еще и неденежные издержки: в виде времени и усилий, потраченных на этот конфликт, в виде психологических последствий, ведь «эмоциональная прибыль» у победившего будет ниже, чем «эмоциональный убыток» у проигравшего.

Разница между этими типами игр вовсе не в том, что одни дают заработать больше, чем другие. Ключевая разница – в отношении к риску.

Игры взятия риска за премию принимают риск как часть реальности, они работают с ним и не пытаются от него правдами и неправдами убежать. Именно риск делает эти игры возможными, и в каком-то смысле риск – это положительное явление, потому что создает возможность работы с ним и получения премий.

Напротив, в играх за преимущество игрок пытается уйти от рисков всеми силами. Риск превращается в нежелательное явление, врага, против которого игрок выставляет силу своего мастерства.

Однако по факту рыночный риск оказывается слишком сложным и упорным явлением, от которого не так просто избавиться. Попытки убежать от риска для большинства игроков заканчиваются обменом понятного и прозрачного риска на скрытый и непросчитываемый, который рано или поздно обрушивает на них свои реализации с какой-нибудь неожиданной стороны.



Автор: Александр Кургузкин
Название: Лабиринт иллюзий. В погоне за успехом на финансовых рынках

[identity profile] angeloni.livejournal.com 2020-10-04 07:16 am (UTC)(link)

Есть кстати такая акция GME и там сейчас сидит хуева туча шортов, к слову их там больше чем акций в свободном доступе, теоретически там может повторится ситуация шорт сквиза 2011? Года в акции WW когда порш выпорол шортистов до кровавого поноса, а возглавляет крестовый поход в этот раз всем известный по фильму big short Майкл Бьюри и задаётся мне он выдоит шортистов конкретно... Про то сколько крутых парней с самыми громкими именами были публично выпороны илоном маском на глазах у всей уолл стрит в назидание все и так в курсе, Маск даже выпостил шорты ТЕСЛА для шортистов по 300 баксов вроде
П. С. Это к вопросу почему нельзя шортить акции.
П. П. С. И кстати сам Бьюри признал что его биг шорт хоть и принёс кучу денег его фонду он же по сути фонд и разрушил, разрушил его отношения с многими людьми. То есть ещё большой вопрос он заработал на нем или потерял. Так как деньги ему после этого никто не даст, да и он сам не возьмёт.

Edited 2020-10-04 10:41 (UTC)

[identity profile] snake-d-ha.livejournal.com 2020-10-08 03:05 pm (UTC)(link)

Наверное таки нет.

[identity profile] angeloni.livejournal.com 2020-10-04 06:30 pm (UTC)(link)
И вот это взрывает мне мозг. Как может процесс, который на три четверти делает неправильные вещи, быть эффективным?!?

А он эффективен. Статистически.

Абсолютно иррационально.

MONEYBALL объясняет как это работает

Edited 2020-10-04 18:36 (UTC)

[identity profile] megadarkblack.livejournal.com 2020-10-04 08:47 pm (UTC)(link)
так статистически же - например (например): находятся 3 сделки с шансом 33% выиграть 100% или 67% проиграть 10%

[identity profile] a-alexander-1.livejournal.com 2020-10-05 12:39 am (UTC)(link)
На этом обычно проект заканчивается, или меня оттуда гонят ссаными тряпками и продаются американцам за миллионы. :) Как пойдет.
Подождите, ну вот то, что Вы описали, даже я мог бы придумать :) Но в идеале гипотезы о таких алгоритмах должны тестироваться этими самыми математиками на разных наборах данных и в сравнении со значительно более интересными и проверенными временем методиками, перед тем, как их кому-либо впаривать. Т.е., получается, они даже не пытались?

[identity profile] snake-d-ha.livejournal.com 2020-10-08 03:07 pm (UTC)(link)

Они их тестируют на исторических данных. Номинально. Но сравнивают с другими своими же моделями. :)

[identity profile] romti.livejournal.com 2020-10-07 05:59 am (UTC)(link)
С Днём Рождения!
Здоровья и всех благ!

Page 1 of 2