Production System · Server .134 / .40

Reality
Engine

Nepřetržitý cyklus scrapingu stovek realitních portálů. 135 implementovaných scraperů, 320 scrapovaných portálů. Cenová mapa V24 (MAPE 7,13 %). Žádná URL nikdy nepropadne bez záznamu.

● 349 908 inzerátů ● 296 291 trénovacích ● 80 708 podhodnocených ● 135 scraperů ● Cenová mapa V24 · port 5163 ● 320 portálů
349 908
Inzerátů MASTER_LIVE
320
Portálů
80 708
Příležitostí (D-tag)
24/7
Non-stop
Systémová architektura
Jeden systém, nula ztracených dat
Od Router Tower orchestrace přes Scraping Fabric až po master databázi — každá vrstva má svůj účel a žádná URL nikdy nepropadne.
🧠 Vrstva 1 · Orchestrace
🗼

Router Tower

Mozek orchestrace. API gateway na router.czechai.io — routing požadavků, prioritizace portálů, Lovec Agent s MindSearch decompozicí.

ORCHESTRÁTOR
📋

Job Tracking

Sledování každého jobu: Jobs → Results → Artifacts. Trace ID, timestamps, status. Celý životní cyklus běhu.

TRACKING
📊

Monitoring Board

Interní dashboard: success rate, coverage, chybovost. Detekce anomálií, alerting, metriky per portál.

METRIKY
🕸️ Vrstva 2 · Scraping Fabric
⚙️

Hlavní Orchestrátor

Generuje listingy, krmí engine URL. Orchestrator v2.3 (mega_fabric_scraper.py) + Crawl4AI + Sreality API. 320 portálů, mode-aware batching.

CORE
🔄

Scraping Engine

Tahá stránky, vrací linky. Crawl4AI + Scout Agent + Sreality API + Playwright. Rotace IP, stealth vrstvy, anti-bot bypass.

ENGINE
🤖

RAG Kontrola

Několikakrokový RAG pipeline — AI halucinuje v některých fázích, proto multi-step verifikace + rotace agentů.

VERIFIKACE
🛡️

Anti-Detection

Rotace IP, fingerprint spoofing, session mgmt. Každý portál = vlastní profil. Tvrdé zaznamenání každého logu.

STEALTH
💾 Vrstva 3 · Data & Storage
👑

reality_master

Hlavní tabulka — MASTER_LIVE.db 349 908 čištěných inzerátů (65 sloupců). Cena, lokalita, parametry, cenové mapy, štítky, scoring, strategie.

HLAVNÍ DB
🌐

portal_registry

Registr portálů. 320 scrapovaných portálů. Konfigurace, frekvence crawlu, anti-bot profily, CSS selektory.

REGISTRY
📝

run_log & audit

Log každého běhu. URL → master NEBO audit ("viděno, ale neprošlo"). Dedup s "seen again" záznamem.

AUDIT TRAIL
🔗

link_validation_log

url_validator.py — 92.5% úspěšnost. Filtruje mailto, PRODÁNO, články, spam. Soft-404 detection.

VALIDACE
Datový tok
Od URL po investiční strategii
Každá URL projde celým pipeline — crawl → validace → enrichment → cenové mapy → štítkování → akce.
Krok 01
🕷️

Crawl

Orchestrator + Crawl4AI + API tahá 320 portálů, extrahuje linky

Krok 02
🔍

Validace

url_validator.py: LIVE ✅ / DEAD ❌ / OVĚŘIT ⚠️

Krok 03
🤖

RAG Check

Kontrola halucinací, multi-agent verifikace

Krok 04
🗺️

Cenová mapa V24

Ocenění V24 (R²=0,948 · MAPE 7,13 %)

Krok 05
🏷️

Štítky

D10–D30, typ, rizika, strategie

Krok 06
🎯

Akce

VIP / urgent / pod cenou → flip / pronájem / hold

Scrapované portály
320 portálů, 349 908 inzerátů
Sreality + Bezrealitky + iDNES + Bazoš + UlovDomov + stovky dalších. MASTER_LIVE: 349 908 inzerátů s tržními odhady, D-tagy, příležitostmi.
1
sreality.cz
142 000
41%
2
bezrealitky.cz
48 000
14%
3
bazos.cz
38 000
11%
4
ulovdomov.cz
29 000
8%
5
reality.idnes.cz
24 000
7%
jenreality realitymix realhit avizo reality.cz sbazar ceskereality remax realitniservery reality.bazos dumrealit century21
⏸️ 320 scrapovaných portálů celkem — RealityMix, Avízo, Reality.cz, RE/MAX, Century21, DumRealit a stovky dalších. Tvrdé pravidlo: bez detail URL = reject.
Oceňovací ekosystém · 2026
Od cenové mapy po produkční verdikt
Cenová mapa V24 je jádro — nad ní běží produkční API EstateX, dvojitá kontrola Valuation Council a off-market detekce příležitostí. Posun proti V15: MAPE 7,13 % a R² 0,948.
📈 Vrstva · Oceňování & příležitosti
🎯

Cenová mapa V24

HistGradientBoosting + Meta-learner. R²=0,948, MAPE 7,13 %, 296 291 trénovacích záznamů. Combo3 router (port 5163): V24 primary → V15 fallback, V24 direct 5164. Direct CMA má MAPE 24,68 % — V24 je 3,5× přesnější.

PORT 5163
🌐

EstateX · shadow.czechai.io

Produkční oceňovací API nad V24. Univerzální odhad z adresy nebo z URL inzerátu: /v1/cenova/estimate, /from-address, /from-url, /adjudicate. Veřejný odhad /cenovy-odhad, embed widget, OpenAPI docs.

PRODUKCE
⚖️

Valuation Council

Finální verdikt APPROVE / CONFIRM / REVIEW / NEGATE. V24 produkce + nezávislá Direct CMA kontrola. Rozdíl ≥ 25 % → REVIEW, ≥ 15 % → CONFIRM, jinak blend 78 % produkce + 22 % CMA. NEGATE produkce = NEGATE.

DVOJITÁ KONTROLA
🔍

Opportunity Brain

Off-market detekce podhodnocených nemovitostí napříč 320 portály. D-tagy D10/D15/D20/D30, výpočet targetOfferCzk (cílová nabídková cena). Pro investiční fondy, flipery a PE.

OFF-MARKET
🔨

Property Watchdog

Scraper/aggregator distressed realit ČR — dražby, insolvence a přímé nabídky od majitele. 72 zdrojů. Tvrdé URL pravidlo: bez detail URL = reject.

DISTRESSED
🎮

HádejCenu

Gamifikovaný odhad cen z reálných inzerátů (UlovDomov + V24). Lead capture, leaderboard, týdenní refresh. Veřejná hra na router.czechai.io/hadejcenu.

LEAD GEN
Enrichment proces
Od surových dat po podhodnocené
batch_5_maps_filtered.py — volá API mapy, načte JSON mapy, vypočítá průměr, přiřadí D10–D30 štítky.
349 908
Inzeráty v DB
→
V24
Oceněno (port 5163)
→
80 708
Podhodnocené (D-tag)
→
8 016
D30 extrémní
D30
−30% a více
8 016
D20
−20% až −30%
15 234
D15
−15% až −20%
22 891
D10
−10% až −15%
34 567
Cenový systém
Cenová mapa V24 + ekosystém map
Hlavní oceňovací model V24 (combo3 router, port 5163) doplněný o specializované mapy. Neslít do jedné kaše — u každého záznamu jasně která mapa to řekla a proč.
MAP 01 · API

Reálné prodeje

Skutečně zrealizované transakce. Tvrdá data za kolik se co prodalo.

router.czechai.io/cenova/prodeje
MAP 02 · API

ČSÚ statistiky

Oficiální statistiky Českého statistického úřadu. Benchmark pro regiony.

router.czechai.io/cenova/csu
MAP 03 · API · 🏆

Cenová Mapa V24

HistGradientBoosting + Meta-learner, R²=0,948, MAPE 7,13 %, 296 291 trénovacích záznamů, 5-level geo lookup (20 564 měst). Combo3 router: V24 → V15 fallback.

/v1/cenova/estimate · port 5163
MAP 04 · API

Smart Engine

15 subtypů nemovitostí, taxonomie, outlier detection, sanity ranges.

router.czechai.io/cenova/smart/
MAP 05 · JSON

Referenční ceny

Referenční benchmark z historických datasetů. Co se opakuje a funguje.

router.czechai.io/cenova/smart/
MAP 06 · PLAN

Kč / m² pravda

Cena za metr čtvereční jako fundamentální metrika. Čistá, srovnatelná.

MAP 07 · PLAN

Regionální / okresní

Lokální chování trhu. Praha ≠ Ústí ≠ Brno — vlastní dynamika.

MAP 08 · PLAN

Novostavby & dev

Developer pricing, jiná pravidla než staré baráky. Etapy, marže.

MAP 09 · PLAN

Mix průměrů / mediánů

Robustní statistika bez outlierů. Aby to nebylo rozjeté extrémama.

Štítkový systém
Od surových dat po strategii za 2 vteřiny
Tvrdé pravidlo — nic se neztratí. Každý záznam: LIVE ✅ / DEAD ❌ / OVĚŘIT ⚠️ + kompletní sada štítků.
① Základní klasifikace
bytdům pozemekkomerce prodejpronájem městookres
② Status validace
LIVE ✅DEAD ❌ OVĚŘIT ⚠️ novývalidní duplicita
③ Cenové hodnocení
D30 −30%D20 −20% D15 −15%D10 −10% prioritaurgence
④ Rizikové flagy
dražbaexekuce insolvencepodíl zástavanejistý vlastník
⑤ Strategie
flippronájem držetdevelopment watchlist
→ VIP / urgent / pod cenou bez právních min = okamžitě vím co řešit a jak.
Zero Data Loss
Kvalita nad rychlostí
Největší bolest není rychlost, ale coverage. Žádná URL nesmí propadnout bez záznamu.

⚠️ Problémy

Kde se data ztrácí:

  • Regex pro detail URL je moc tvrdý → spadne na filtrování
  • "Neinzerát" jde do ticha bez záznamu
  • Dedup smaže stopu → nevidíme "seen again"
  • AI halucinuje parametry (cena, m², dispozice)
  • Soft-404: HTTP 200 ale "inzerát neexistuje"

✅ Řešení

Každá URL má buď inzerát v masteru, nebo audit záznam:

  • Audit log: "viděno, ale neprošlo" — s důvodem proč
  • Dedup s "seen again" logem — zachovává pravdu o trhu
  • RAG pipeline: multi-step verifikace AI výstupů
  • url_validator.py: 92.5% úspěšnost, soft-404 detection
  • Rotace agentů + IP, tvrdé logování každé operace
  • Železné pravidlo: VŽDY validuj, VŽDY deduplikuj, VŽDY loguj
Technický arsenal
Scraping Infrastruktura
Kompletní stack od HTTP scraperů po vizuální AI agenty — vše pod jednou střechou.
135
Scraperů
67
PM2 procesů
30
Docker
70+
Portů
28
Domén
12
PostgreSQL
30+
SQLite

Crawl4AI

🏆 #1 LLM-ready · 58.4k⭐

Scrapy

Enterprise · 53.9k⭐

ScrapeGraphAI

LLM-powered · 21.2k⭐

Crawlee

Anti-bot · 16.8k⭐

Scrapling

Nejrychlejší · <1s

Playwright

Browser + stealth

Katana

Go · URL discovery

Colly

Go · >1000 req/s

RAGFlow

Enterprise RAG · 71.6k⭐

Browser-Use

AI agent · 75.6k⭐

Skyvern

Vision LLM · CAPTCHA

llama.cpp

Lokální LLM · 93.1k⭐
Docker & MCP servery

scraping-agent

Docker · :8100

reality-sales-scraper

Docker · running

crawlee-mcp

MCP · anti-bot

playwright-mcp

MCP · browser

firecrawl-mcp

MCP · scraping

markitdown-mcp

MCP · PDF→MD
Servery

.134 — CzechAiScrapper

Realitní scraping · 135 scraperů · Data Plane v2.0 · Orchestrator

.40 — Reality Pipeline

Reality Pipeline v2.0 · MASTER_LIVE.db 349 908 · 31/31 modulů

.179 — Hlavní infrastruktura

PM2 · Router API · Cenová mapa V24 · Kontakty 2.8M
Datové schéma
Hlavní databázové tabulky
SQLite MASTER_LIVE.db na .134/.40 se 349 908 čištěnými inzeráty (65 sloupců) + PostgreSQL portal_registry, run_log, link_validation.
👑 reality_master
urlTEXT PK
titleTEXT
portalTEXT
cityTEXT
priceINTEGER
areaREAL
property_typeENUM
cenove_mapy[1-9]JSONB
undervalued_tagD10-D30
stitkyJSONB
strategieENUM
validatedBOOL
scraped_atTIMESTAMP
🌐 portal_registry
idUUID PK
domainTEXT UNIQUE
nameTEXT
scraper_pathTEXT
css_selectorsJSONB
rate_limitFLOAT
antibot_profileJSONB
last_crawlTIMESTAMP
statusactive/paused
📝 run_log
idUUID PK
trace_idTEXT
portal_idFK
started_atTIMESTAMP
ended_atTIMESTAMP
urls_foundINT
urls_savedINT
urls_auditedINT
errorsJSONB
statusENUM
🔗 link_validation
idUUID PK
urlTEXT
run_idFK
verdictLIVE/DEAD/CHECK
reasonTEXT
seen_countINT
first_seenTIMESTAMP
last_seenTIMESTAMP
📋 jobs
idUUID PK
typeENUM
configJSONB
statusENUM
created_atTIMESTAMP
resultsFK
artifactsFK