- The traditional open/blocked model for managing bot traffic is broken. AI crawlers have become too sophisticated for organizations to block them at scale, and they extract value without returning it.
- Pay-per-crawl replaces the binary choice with a “yes, if” framework: programmatic, usage-based access to content gated by real-time payment requirements via the HTTP 402 status code.
- Stack Overflow and Cloudflare have co-launched a pay-per-crawl model, offering organizations a new path to public data monetization that complements, not replaces, traditional data licensing.
For most of the web’s history, content platforms operated on a simple binary: open or blocked. Bots that followed the rules, like search engine crawlers and legitimate aggregators, were welcomed. Bots that misbehaved were added to a blocklist. It was an imperfect system, but it was more or less functional.
Then generative AI changed everything. The explosion of LLMs created enormous commercial demand for high-quality training data, and the web became the most convenient source of that data. AI crawlers began hitting content sites at unprecedented scale to extract data for model training. The reciprocal traffic loop that once underpinned the internet’s content economy began to collapse.
“With the rise of AI products looking to take data for model training, we found ourselves in a position in the last year or so to revisit that approach,” said Janice Manningham, Strategic Product Leader at Stack Overflow, on the Leaders of Code podcast তিনি ব্যাখ্যা করেছিলেন যে পুরানো ওপেন-অর-ব্লক ফ্রেমওয়ার্ক এই মুহুর্তের জন্য তৈরি করা হয়নি: “আমাদের মডেল প্রশিক্ষণের জন্য বাণিজ্যিক ব্যবহারের বিরুদ্ধে আমাদের ডেটা রক্ষা করতে হবে, তবে এখনও আমাদের সম্প্রদায়ে অ্যাক্সেসের অনুমতি দেওয়া উচিত।”
জেনারেটিভ এআই যুগের শুরুতে, স্ট্যাকওভারফ্লো, অনেক কন্টেন্ট প্ল্যাটফর্মের মতো, আক্রমণাত্মক AI ক্রলারগুলির একটি ব্লকলিস্ট বজায় রাখা শুরু করেছিল। কিন্তু স্ট্যাকওভারফ্লো-এর সাইট নির্ভরযোগ্যতা প্রকৌশলী জোশ ঝাং ব্যাখ্যা করেছেন, এই পদ্ধতি দ্রুত তার সীমায় পৌঁছেছে।
“আমরা মূলত শুধু হ্যাক-এ-মোল খেলছি,” ঝাং বলেছেন। “আঙ্গুলের ছাপ এবং বট স্কোরিংয়ের মতো অন্যান্য সরঞ্জাম রয়েছে যা আপনি ব্যবহার করতে পারেন, তবে অবশ্যই এটি একটি প্রতিকূল সম্পর্ক – তাই যারা বট লিখছেন তারা জানেন যে তাদের কী হারাতে হবে।”
আধুনিক এআই ক্রলারের পরিশীলিততা সহজ কার্ল অনুরোধের চেয়ে অনেক বেশি এগিয়েছে। আজকের বট মানুষের ট্রাফিক নকল করতে হেডলেস ব্রাউজার ব্যবহার করে। এর মানে হল যে তারা শুধুমাত্র কন্টেন্ট স্ক্র্যাপ করছে না, কিন্তু বিজ্ঞাপন ইমপ্রেশনও গ্রাস করছে। বিজ্ঞাপনদাতারা ট্রাফিকের জন্য অর্থ প্রদান করছে মানুষ ব্যবহারকারীরা, কিন্তু এআই ক্রলাররা নিশ্চিত করার জন্য যাচাইকরণ সিস্টেমকে বোকা বানিয়ে দিচ্ছে। “তারা মূলত বিজ্ঞাপনের ছাপ খাচ্ছে,” ঝাং বলেছেন, “যা বিজ্ঞাপনদাতাদের জন্য এমনকি ফিরিয়ে নেওয়ার জন্য একটি খুব ভয়ঙ্কর জিনিস।”
ফলাফল হল একটি অস্ত্র প্রতিযোগিতা যা বেশিরভাগ বিষয়বস্তু দল প্রতিরক্ষা খেলে জিততে পারে না। স্ট্যাকওভারফ্লোতে ব্লকলিস্ট জটিল হয়ে উঠেছে। ম্যানুয়াল, অ্যাড-হক শনাক্তকরণ প্রক্রিয়ার স্কেল বাড়াতে একটি উল্লেখযোগ্যভাবে বড় দলের প্রয়োজন হবে। দলটির একটি ভিন্ন কৌশল প্রয়োজন: বট ট্র্যাফিকের উপর কেবল প্রতিক্রিয়া দেখানোর পরিবর্তে, তারা এটিকে পুনঃনির্দেশ করবে।
পে-পার-ক্রল হল একটি ব্যবহার-ভিত্তিক বিষয়বস্তু অ্যাক্সেস মডেল যেখানে স্বয়ংক্রিয় ক্রলার এবং এআই এজেন্টদের শুধুমাত্র তখনই ওয়েব সামগ্রীতে প্রোগ্রাম্যাটিক অ্যাক্সেস দেওয়া হয় যখন রিয়েল-টাইম পেমেন্ট এবং সনাক্তকরণের প্রয়োজনীয়তা পূরণ করা হয়। মডেলটি বিষয়বস্তুর মালিকদেরকে বট ট্র্যাফিক থেকে সরাসরি নগদীকরণ করার ক্ষমতা দেয় জনসাধারণের অ্যাক্সেস ব্লক না করে বা মানব-আলোচনামূলক চুক্তির প্রয়োজন না করে।
এই মডেলটি এর আগে আসা দুটি প্রধান বিকল্প থেকে আলাদা:
- robot.txt এটি দীর্ঘদিন ধরে ওয়েবসাইটের মালিক এবং ক্রলারদের মধ্যে হ্যান্ডশেক চুক্তি হিসাবে কাজ করেছে। এটি অগ্রাধিকার নির্দেশ করে, কিন্তু এটি সম্পূর্ণরূপে স্বেচ্ছাসেবী: কোন প্রয়োগের ব্যবস্থা নেই এবং অ-সম্মতির জন্য কোন জরিমানা নেই। এআই কোম্পানিগুলি এটিকে মূলত ঐচ্ছিক বলে মনে করেছে।
- পেওয়াল রাজস্ব সমস্যা সমাধান করুন, কিন্তু অ্যাক্সেস সমস্যা তৈরি করুন। এগুলি মানব পাঠকদের জন্য ডিজাইন করা হয়েছে এবং সংজ্ঞা অনুসারে, ঘর্ষণ প্রয়োজন: অ্যাকাউন্ট তৈরি, ক্রেডিট কার্ড, সাবস্ক্রিপশন সিদ্ধান্ত৷ এটি তাদের প্রোগ্রামেটিক, মেশিন-টু-মেশিন সামগ্রী অ্যাক্সেসের সাথে বেমানান করে তোলে।
পে-পার-ক্রল বিদ্যমান HTTP 402 (“অর্থপ্রয়োজনীয়”) স্ট্যাটাস কোড ব্যবহার করে, একটি বিরলভাবে প্রয়োগ করা কোড যা কয়েক দশক ধরে ওয়েব পরিকাঠামোর অংশ, রিয়েল টাইমে বটে সরাসরি অ্যাক্সেসের শর্তগুলি প্রেরণ করতে। বার্তাটি “না” নয়। ক্লাউডফ্লেয়ার ভাইস প্রেসিডেন্ট উইল অ্যালেন যেমন বলেছেন, এটি “হ্যাঁ, যদি।”
“আপনি এটা নিতে স্বাগত জানাই যদি এখানে কিছু ধরণের অর্থপ্রদান রয়েছে,” অ্যালেন ব্যাখ্যা করেছেন৷ “এবং সেই অর্থপ্রদান সরাসরি, প্রোগ্রাম্যাটিকভাবে, মেশিন থেকে মেশিনে হতে পারে।”
AI বছরে ৪.৪ ট্রিলিয়ন ডলার যোগ করবে বলে অনুমান করা হচ্ছে[–>global economy, এবং উচ্চ-মানের, লাইসেন্সপ্রাপ্ত ডেটা সেই বৃদ্ধিকে ত্বরান্বিত করছে। স্ট্রাকচার্ড, প্রামাণিক প্রশিক্ষণ ডেটাসেটের চাহিদা কেবলমাত্র ত্বরান্বিত হচ্ছে কারণ মডেল বিকাশকারীরা ডেটার গুণমানে পার্থক্য করতে চায়।
বিষয়বস্তুর মালিকদের জন্য, এটি একটি অর্থপূর্ণ সুযোগ তৈরি করে যা পুরানো ওপেন-অর-ব্লক মডেল থেকে অনুপস্থিত। এআই ক্রলার থেকে ট্র্যাফিক ব্যবসায়িক আগ্রহের একটি বাস্তব রূপকে উপস্থাপন করে যা ঐতিহ্যগত কাঠামোর অধীনে, কোনো আয় ছাড়াই খরচ (সার্ভার লোড, বিজ্ঞাপনের ছাপ বিকৃতি) তৈরি করে।
পে-প্রতি-ক্রল কন্টেন্ট মালিকদের ব্যবসার আগ্রহ পূরণ করতে সক্ষম করে যেখানে এটি ইতিমধ্যেই বিদ্যমান। AI কোম্পানিগুলি আনুষ্ঠানিক লাইসেন্সিং আলোচনা শুরু করার জন্য অপেক্ষা করার পরিবর্তে, সংস্থাগুলি বট কার্যকলাপে সরাসরি প্রতিক্রিয়া জানাতে পারে, একটি টান মেকানিজম তৈরি করতে পারে যা সম্ভাব্য অংশীদারদের পৃষ্ঠপোষকতা করে এবং ক্রলারদের থেকে লেনদেনের আয় জেনারেট করে যা অন্যথায় বিনামূল্যে ডেটা বের করে।
আসুন কন্টেন্ট মালিক এবং প্রতিষ্ঠান উভয়ের জন্য পে-পার-ক্রল মডেলের সুবিধাগুলি সম্পর্কে শিখি যারা সেই সামগ্রীটি ব্যবহার করতে চায়৷
ফেরত না পাওয়া ট্রাফিক থেকে রাজস্ব। বট ক্রলার যেগুলি অর্থপ্রদান ছাড়াই ডেটা বের করত তাদের এখন অ্যাক্সেসের জন্য অর্থ প্রদান করতে হতে পারে৷ এমনকি কম প্রতি-ক্রল হারেও, উচ্চ-ভলিউম এআই প্রশিক্ষণ ট্র্যাফিক অর্থপূর্ণ পাবলিক ডেটা নগদীকরণের প্রতিনিধিত্ব করতে পারে।
আপনার শর্তাবলীতে নমনীয় ডেটা অ্যাক্সেস। কম্বল ডেটা লাইসেন্সিং চুক্তির বিপরীতে, যা সাধারণত দীর্ঘ ক্রয় চক্র, বিস্তৃত ডেটাসেট অ্যাক্সেস এবং উল্লেখযোগ্য আলোচনার ওভারহেড জড়িত থাকে, পে-প্রতি-ক্রল দানাদার, ব্যবহার-ভিত্তিক অ্যাক্সেস সমর্থন করে। ক্রলাররা যখন এটি ব্যবহার করে তখন তারা যা ব্যবহার করে তার জন্য অর্থ প্রদান করে। এটি সম্ভাব্য গ্রাহকদের জন্য দরজা খুলে দেয় যারা সম্পূর্ণ লাইসেন্সিং চুক্তিতে প্রস্তুত বা আগ্রহী নন।
অনিয়ন্ত্রিত স্ক্র্যাপিং হ্রাস। 402 প্রতিক্রিয়া নিজেই একটি সংকেত হিসাবে কাজ করে। যখন স্ট্যাক ওভারফ্লো পে-পার-ক্রল সক্ষম করে, কিছু বট যেগুলি আগে একটি হার্ড 403 ব্লক পেয়েছিল তারা 402 পাওয়ার পর ট্র্যাফিক পাঠানো বন্ধ করে দিয়েছে৷ বার্তাটি পেয়েছে: “এটা প্রায় তারা বার্তাটি পাওয়ার মতো,” ঝাং বলেছেন৷ 402 অভিপ্রায় যোগাযোগ করে – “এই বিষয়বস্তুর মান আছে, এবং অ্যাক্সেসের জন্য অনুমোদন প্রয়োজন” – সম্পূর্ণ ব্লকের ভোঁতা বল ছাড়াই।
লাইসেন্সিং কথোপকথন এগিয়ে আনার জন্য একটি প্রক্রিয়া। প্রতিটি ইন্টারঅ্যাকশনের ফলে মেশিন থেকে মেশিন পেমেন্ট হবে না। কিছু কিছু আরও মূল্যবান কিছু ফলাফল হবে: একটি ফোন কল. “তারা কিছু স্তরে মেশিন লেনদেন হতে পারে, কিন্তু তার চেয়ে বেশি, এটি তাদের বোর্ড জুড়ে এই ডিলগুলি বন্ধ করার জন্য প্রয়োজনীয় সরঞ্জামগুলি দিচ্ছে,” অ্যালেন বলেছিলেন। 402 প্রতিক্রিয়া কথোপকথনের আমন্ত্রণ হিসাবে কাজ করে।
আইপি প্রান্তিককরণ এবং সাইটের স্বাস্থ্য। পে-পার-ক্রল সংস্থাগুলিকে তাদের বৌদ্ধিক সম্পত্তি নীতির সাথে প্রতিক্রিয়াশীল, অ্যাড-হক ব্লকলিস্ট পরিচালনার পরিবর্তে একটি পদ্ধতিগত, স্কেলযোগ্য পদ্ধতিতে সামগ্রীর পৌঁছানোর সারিবদ্ধ করার অনুমতি দেয়।
StackOverflow-এর জন্য, পে-পার-ক্রল হল আমাদের দীর্ঘমেয়াদী ডেটা কৌশলের একটি স্বাভাবিক সম্প্রসারণ। আমাদের কাছে 15 বছরের বেশি উচ্চ-মূল্যের, বিকাশকারী-কেন্দ্রিক প্রশ্নোত্তর সামগ্রী রয়েছে এবং আমরা ইতিমধ্যেই আনুষ্ঠানিক লাইসেন্সিং ডিলের মাধ্যমে সেই ডেটা লাইসেন্স করছি৷ সমস্যা হল এই চুক্তিগুলি আমরা যে বট ট্র্যাফিক দেখছি তার দ্বারা নির্দেশিত সমস্ত দাবিগুলিকে কভার করে না৷ “কেন তারা যেখানে আগ্রহ এবং চাহিদা মেটাচ্ছে না?” ম্যানিংহাম ড.
ক্লাউডফ্লেয়ারের সাথে সহযোগিতা বাস্তবায়নকে বাস্তবসম্মত করেছে। ক্লাউডফ্লেয়ারের বিদ্যমান বট ম্যানেজমেন্ট অবকাঠামো, যা ক্রলারদের শ্রেণীবদ্ধ করে, বট স্কোর নির্ধারণ করে এবং প্রতিষ্ঠানকে প্রতিটি বিভাগের জন্য নিয়ম সংজ্ঞায়িত করার অনুমতি দেয়, ভিত্তি প্রদান করে। সেখান থেকে, পে-পার-ক্রল যোগ করা তুলনামূলকভাবে হালকা লিফট ছিল।
“যখন আমরা ক্লাউডফ্লেয়ারের পে-পার-ক্রল প্রোগ্রামে নথিভুক্ত করি, তখন এটি আসলে খুব সহজ ছিল,” ঝাং বলেছিলেন। “এটি শুধুমাত্র একটি UI ছিল যা মূলত কিছু বিদ্যমান নিয়মগুলিকে নিজস্ব WAF-তে আবৃত করেছিল [web application firewall]এবং তারা আসলে একগুচ্ছ ড্যাশবোর্ডিং তৈরি করেছে।” পরিচিত বটগুলির পূর্ব-জনসংখ্যার তালিকা, কনফিগারযোগ্য চার্জের হার এবং একটি সামগ্রিক ট্র্যাফিক ড্যাশবোর্ডের অর্থ হল স্ট্যাক ওভারফ্লো উল্লেখযোগ্য ইঞ্জিনিয়ারিং বিনিয়োগ ছাড়াই মডেলগুলিকে দ্রুত পরীক্ষা করতে পারে৷
ক্লাউডফ্লেয়ারের স্কেল মান প্রস্তাবের একটি মূল অংশ। কোম্পানিটি বিস্তৃত শিল্প এবং সেক্টর জুড়ে ট্র্যাফিক দেখে, এটিকে বর্তমান, ব্যাপক বট সনাক্তকরণ বজায় রাখতে সক্ষম করে যা অন্যান্য সংস্থাগুলি বাস্তবসম্মতভাবে প্রতিলিপি করতে পারে না। এই শ্রেণিবিন্যাস – সার্চ ইঞ্জিন ক্রলারকে (এখনও মূল্যবান এবং অনুমোদিত) AI প্রশিক্ষণ বট থেকে আলাদা করা (এখন প্রতি-ক্রল-পে-এর বিষয়) – যা সিস্টেমটিকে পরিচালনাযোগ্য করে তোলে।
সামনের দিকে তাকিয়ে, ক্লাউডফ্লেয়ার উদীয়মান অর্থপ্রদানের প্রোটোকল যেমন X402-এর জন্য সমর্থন বিকাশ করছে, যা পূর্ববর্তী ক্রলার নিবন্ধনের প্রয়োজন ছাড়াই অর্থপ্রবাহের প্রবাহের অনুমতি দেবে। এটি শুধুমাত্র চিহ্নিত ক্রলার নয়, বেনামী বট ট্র্যাফিক কভার করার জন্য মডেলটিকে প্রসারিত করবে, যতক্ষণ না অর্থপ্রদান নিশ্চিত করা হয় ততক্ষণ যে কোনও সংস্থার জন্য যে কোনও ক্রলারের সাথে ব্যবসা করা সহজ হবে৷
ক্লাউডফ্লেয়ার প্ল্যাটফর্মের মাধ্যমে পে-পার-ক্রল বিটাতে অ্যাক্সেস পাওয়া যায়। সংস্থাগুলি ইতিমধ্যেই বট পরিচালনার জন্য ক্লাউডফ্লেয়ার ব্যবহার করছে বিদ্যমান অবকাঠামো এবং নিয়ম কনফিগারেশনের উপর ভিত্তি করে তুলনামূলকভাবে বিরামহীন অনবোর্ডিং প্রক্রিয়া আশা করতে পারে।
স্ট্যাকওভারফ্লো এবং ক্লাউডফ্লেয়ার বিষয়বস্তুর মালিক এবং তাদের কাজ গ্রাসকারী AI সিস্টেমের মধ্যে সম্পর্ককে নতুন আকার দেওয়ার চেষ্টা করছে।
ইন্টারনেটের মূল বিষয়বস্তু অর্থনীতি একটি অন্তর্নিহিত চুক্তির উপর নির্মিত হয়েছিল: প্রকাশ্যে প্রকাশ করুন এবং বিনিময়ে ট্র্যাফিক এবং অ্যাট্রিবিউশন গ্রহণ করুন। এআই কিছু পরিবর্তন না করেই সেই চুক্তিটি শেষ করেছে। পে-প্রতি-ক্রল হল নতুন শর্তাবলী প্রতিষ্ঠা করার একটি প্রয়াস যা গ্রহণ করে উভয় উপাদানের মান এবং নমনীয় ডেটা অ্যাক্সেসের জন্য এআই বিকাশকারীদের বৈধ চাহিদা।
ম্যানিংহাম বলেন, “আমাদের কাছে একটি সমৃদ্ধ সম্পদ রয়েছে, 15 বছরের উচ্চ-মূল্যের সামগ্রী যা ডেভেলপারদের সমস্যা থেকে বেরিয়ে আসতে সহায়তা করে।” “আমরা সেই ডেটা উপলব্ধ করতে চাই, কিন্তু সঠিক ব্যবহারের ক্ষেত্রে এবং সঠিক অ্যাক্সেস নিয়ন্ত্রণের জন্য।”
আপনি যদি এই নতুন ল্যান্ডস্কেপে কাজ করা প্রযুক্তি এবং ব্যবসায়িক নেতাদের একজন হন, তাহলে আপনি আর খোলা এবং বন্ধের মধ্যে একটি সরল পছন্দের মুখোমুখি হবেন না। পে-পার-ক্রল-এর “হ্যাঁ, যদি” ফ্রেমওয়ার্ক হল একটি অপ্টিমাইজেশান যা সংস্থাগুলিকে তাদের সবচেয়ে মূল্যবান সম্পদের উপর নিয়ন্ত্রণ দেওয়ার সময় স্কেলে ডেটা লাইসেন্সিং সমর্থন করে৷
পে-পার-ক্রল কি এবং এটি কিভাবে কাজ করে?
পে-পার-ক্রল হল একটি মডেল যা ওয়েবসাইটের মালিকদের তাদের বিষয়বস্তুতে প্রোগ্রাম্যাটিক অ্যাক্সেসের জন্য স্বয়ংক্রিয় বট এবং এআই ক্রলারগুলিকে চার্জ করার অনুমতি দেয়। যখন একটি ক্রলার একটি পৃষ্ঠার অনুরোধ করে, সার্ভার সামগ্রীর পরিবর্তে একটি HTTP 402 (“পেমেন্ট প্রয়োজনীয়”) স্ট্যাটাস কোড দিয়ে প্রতিক্রিয়া জানায়৷ ক্রলার – বা যে সংস্থা এটি পরিচালনা করে – অ্যাক্সেস মঞ্জুর করার আগে একটি অর্থপ্রদানের প্রয়োজনীয়তা পূরণ করতে বলা হয়। অর্থপ্রদানগুলি প্রোগ্রামগতভাবে ঘটতে পারে, মেশিন থেকে মেশিনে, অথবা পে-প্রতি-ক্রল জড়িত সংস্থাগুলির মধ্যে সরাসরি আলোচনা শুরু করতে পারে।
পেওয়াল বা API সাবস্ক্রিপশন থেকে পে-পার-ক্রল কীভাবে আলাদা?
একটি ঐতিহ্যগত পেওয়াল মানব ব্যবহারকারীদের জন্য ডিজাইন করা হয়েছে: এটির জন্য অ্যাকাউন্ট তৈরি, ম্যানুয়াল পেমেন্ট এবং সদস্যতা সংক্রান্ত সিদ্ধান্তের প্রয়োজন, যার কোনোটিই স্বয়ংক্রিয় বট ট্রাফিকের সাথে সামঞ্জস্যপূর্ণ নয়। একটি API সাবস্ক্রিপশন হল একটি নির্দিষ্ট চুক্তি, সাধারণত বাল্ক অ্যাক্সেসের জন্য অগ্রিম আলোচনা করা হয়। বিপরীতে, পে-পার-ক্রল হল ব্যবহার-ভিত্তিক এবং প্রোগ্রাম্যাটিক: ক্রলাররা যা অ্যাক্সেস করে তার জন্য অর্থ প্রদান করে, কোনো মানুষের জন্য আগে থেকে চুক্তির আলোচনা করার প্রয়োজন নেই। এটি ডেটা লাইসেন্সিং চুক্তি থেকেও আলাদা, যা সাধারণত বৃহৎ ডেটাসেট কভার করে বিস্তৃত চুক্তি জড়িত।
পে-পার-ক্রল কি আমার সাইটে পাবলিক অ্যাক্সেস ব্লক করে?
না, আপনার সাইট সর্বজনীনভাবে অ্যাক্সেসযোগ্য থাকে। পে-পার-ক্রল ক্রমাগত অ্যাক্সেস সমর্থন করার জন্য ডিজাইন করা হয়েছে, তাই এটি বেছে বেছে বট এবং ক্রলার ট্র্যাফিকের জন্য প্রয়োগ করা হয়, মানুষের দর্শকদের জন্য নয়। একটি 402 প্রতিক্রিয়া স্বয়ংক্রিয় এজেন্টদের নির্দেশিত হয় যা ক্রলার বা এআই বট নামে পরিচিত; এটি সাধারণ ব্যবহারকারীদের সাইট ব্রাউজিং উপর কোন প্রভাব আছে.
কিভাবে বট নিজেদেরকে সনাক্ত করে এবং অর্থ প্রদান করে?
Cloudflare এর মাধ্যমে বর্তমান বাস্তবায়নে, সঠিক, নির্দিষ্ট ক্রলার স্তরে স্বীকৃত এবং চার্জ করার জন্য বটগুলি অবশ্যই নিবন্ধিত হতে হবে। ক্লাউডফ্লেয়ারের বট পরিচালনার পরিকাঠামো তার বিস্তৃত নেটওয়ার্ক জুড়ে ট্রাফিক ডেটা আঁকার সময় শ্রেণিবিন্যাস এবং সনাক্তকরণ পরিচালনা করে। মেশিন থেকে মেশিনে অর্থপ্রদান প্রোগ্রামগতভাবে ঘটতে পারে। ক্লাউডফ্লেয়ার X402 পেমেন্ট প্রোটোকলের জন্য সমর্থনও বিকাশ করছে, যা পূর্বে নিবন্ধন ছাড়াই অর্থপ্রদান করার অনুমতি দেবে। এটি বট ট্র্যাফিকের একটি বিস্তৃত পরিসর কভার করার জন্য মডেলটিকে প্রসারিত করবে এবং নমনীয় ডেটা অ্যাক্সেসকে সামগ্রীর মালিক এবং ক্রলার অপারেটর উভয়ের জন্য আরও স্বজ্ঞাত করে তুলবে৷
