Andrej Markov orosz matematikus nevéhez fűződik a diszkrét sztochasztikus folyamatot leíró Markov-lánc megalkotása a 20. század elején. A Markov-modellek azon a tulajdonságon alapulnak, hogy adott jelenbéli állapot mellett a rendszer jövőbeni állapota nem függ a múltbéliektől.